Подметание плоскости | Подметание плоскости

компьютерное зрение
  • Вход: серия калиброванных фотографий и проекционная матрица, соответствующая съемочной камере.
  • Допущение (определение): все объекты имеют только диффузное отражение, имеется виртуальная камера камеры x, определяются ближняя и дальняя плоскости, между которыми объекты разделены рядом плотных параллельных плоскостей

смысл

Если параллельная плоскость достаточно плотная, то любая точка p на поверхности объекта должна располагаться на некоторой плоскости Di, и камера, которая может видеть p, должна видеть, что точка p должна быть того же цвета, при условии, что другая точка p ' на той же плоскости, что и p не находится на поверхности объекта, цвет, проецируемый на каждую камеру, разный, поэтому алгоритм Plane Sweeping предполагает:

Для любой точки p на плоскости, если цвет, проецируемый на каждую камеру, одинаков, то можно сказать, что эта точка с высокой вероятностью является точкой на поверхности объекта.

основные шаги

Для каждой точки p на параллельной плоскости Di спроецируйте ее на все камеры, а затем выполните расчет сопоставления в соответствии с проецируемым цветом, чтобы получить оценку, соответствующую точке p и ее соответствующей глубине.Чем ближе цвет к камере После того, как вычислено p, спроецируйте его на камеру виртуальной камеры x и просканируйте ее сзади вперед. предыдущая точка, обновите оценку точки и глубину до конца сканирования плоскости

Математическое моделирование

Homography

камера C смотретьxчисло Пиx_\piи смотриxчисло Пиx_\piЕсть омография.

Опустить формулы и выводы

Cost Function

При соответствии точек следующим шагом является нахождение функции стоимости для ее оптимизации. Из-за влияния шума невозможно использовать только информацию о цвете, и ее необходимо сравнивать с информацией об окне.

C(x,y,Πk)=∑k=0N−1∑(i,j)еW∣Iref(x−i,y−j)−βkrefIk(xk−i,yk−j)∣\begin{aligned} C\left(x, y, \Pi_{k}\right) &=\sum_{k=0}^{N-1} \sum_{(i, j) \in W} \mid I_{r e f}(x-i, y-j)-\beta_{k}^{r e f} I_{k}\left(x_{k}-i, y_{k}-j\right) \mid \end{aligned}
  • WW: Окно центрировано по x, y
  • β\beta: Коэффициент усиления, преобразованный в коэффициент усиления после расчета изменения освещенности.

После получения функции стоимости вам нужно только рассчитать минимальное значение точки для соответствующей плоскости:

Π~(x,y)=argmin⁡ΠmC(x,y,Πm)\tilde{\Pi}(x, y)=\underset{\Pi_{m}}{\operatorname{argmin}} C\left(x, y, \Pi_{m}\right)

С соответствующей плоскостью глубина точки рассчитывается следующим образом:

Zm(x,y)=−dm[xy1]Kref−TnmZ_{m}(x, y)=\frac{-d_{m}}{\left[\begin{array}{cc} x & y & 1 \end{array}\right] K_{r e f}^{-T} n_{m}}
  • ограничение: сопоставление на основе окна, пиксели в окне и центральный пиксель, скорее всего, не находятся в одной плоскости (лестница, разрыв), поэтому это будет мешать сопоставлению центрального пикселя.
  • одно из улучшений
    • Согласованность фотографии: Окно прямой оценки в уравнении окна, с плоским уравнением непосредственно в этой координате точки, является значением глубины

Reference

Категории