Сопоставление стерео｜Сопоставление стерео

компьютерное зрение

стерео согласованиеОценка параллакса,Бинокулярная оценка глубины

  • входить: пара, снятая в один и тот же момент, послеЭпиполярная коррекциялевое и правое изображенияIlиIr
  • вывод: Карта несоответствия, соответствующая значению несоответствия, соответствующему каждому пикселю эталонного изображения (обычно выбирается как левое изображение).d
  • По формулеz = b*f / dДоступна карта глубины
    • b: Оптическое центральное расстояние между двумя камерами
    • f: Фокусное расстояние от оптического центра камеры до плоскости изображения.
    • d: Параллакс между двумя камерами

фоновая концепция

Эпиполярная геометрия

[[Эпиполярная геометрия | Эпиполярная геометрия]]

визуальная модель

  • Конвергенция
  • параллельно

В модели параллельного стереозрения оптические оси двух камер параллельны, поэтому эпиполярные линии между левым и правым изображениями параллельны друг другу и расположены в одной плоскости изображения, поэтому вектор диспаратности параллелен горизонтали. линии изображения, так что вектор диспаратности вырождается в скаляр

Основной процесс

Расчет стоимости сопоставления -> агрегирование затрат -> расчет несоответствия -> оптимизация несоответствия

расчет стоимости матча

  • Цель: Рассчитывается путем сопоставления функции стоимости ссовпадают пикселиипиксель-кандидатКорреляция между ними: чем меньше стоимость сопоставления, тем больше корреляция

Найдите, какой пиксель на правом изображении соответствует пикселю на левом изображении, и получите параллакс, затем вы можете рассчитать глубину в соответствии с фокусным расстоянием и оптическим расстоянием до центра.

  • деталь: ограничит область инспекционного поискаDmin~Dmaxвремя, поэтому для каждого пикселя эталонного изображения используйтеW*H*DТрехмерная матрица (::DSI::-Disparity Space Image) хранит стоимость сопоставления для каждого пикселя в пределах диапазона несоответствия.
  • алгоритм
    • Фотограмметрия: разность абсолютного значения серого AD, сумма абсолютного значения серого SAD, нормализованный коэффициент корреляции NCC
    • CV: взаимная информация MI, преобразование переписи CT, преобразование ранга RT, BT и т. д.

агрегирование затрат

  • Стоимость согласования, рассчитанная на предыдущем шагепроблема: Учитывается только локальная информация, а значение стоимости рассчитывается на основе информации о пикселях в окне определенного размера в двух окрестностях пикселей, но на это легко влияет шум.Когда изображение находится в области со слабой текстурой или повторяющейся текстурой ( мало значимой информации, шум влияет на большую площадь), значение стоимости может неточно отражать корреляцию между пикселями.
  • Основная цель: учитывать глобальную информацию и оптимизировать DSI, чтобы оптимизированное значение стоимости могло точно отражать корреляцию между пикселями.
  • Грубые шаги: что-то типаРаспространение параллакса,
    1. Начальный эффект согласования области с высоким отношением сигнал/шум является хорошим, первоначальная стоимость может хорошо отражать корреляцию, а оптимальное значение несоответствия может быть получено более точно.
    2. При установлении взаимосвязи между соседними пикселями новое значение стоимости каждого пикселя при определенном параллаксе будет пересчитано на основе значения стоимости соседних пикселей при равномерном или близком параллаксе (например, соседние пиксели должны иметь непрерывные значения несоответствия).
    3. Распространение в области с низким отношением сигнал/шум и плохим согласованием
    4. Наконец получить новую матрицуS
  • Общий метод: Волосы линии сканирования, метод динамического программирования, метод агрегации путей в алгоритме SGM

Примечание. Этот шаг чрезвычайно важен и напрямую определяет точность алгоритма.

Расчет параллакса

Используйте алгоритм «победитель получает все» (WTA, Winner-Takes-All) в матрице затрат.SВыберите значение несоответствия, соответствующее наименьшему значению стоимости, как наилучшее несоответствие.

Обратите внимание еще раз: поскольку в этом нет существенной операции, эффект агрегации должен быть очень хорошим.

Оптимизация параллакса

  • Цель: Дальнейшая оптимизация карты несоответствий, полученной на предыдущем шаге, для улучшения качества карты несоответствий, в основном включаяпараллакс ошибки отбраковки,Достаточно гладкий,Оптимизация субпиксельной точностиЖдать
  • алгоритм
    • Устранение ложного несоответствия из-за окклюзии и шума: проверка влево-вправо
    • Устранение изолированных выбросов: алгоритм устранения небольших связанных областей
    • Сглаживание карты диспаратности: Медианный фильтр, Двусторонний фильтр и другие алгоритмы сглаживания (Двусторонний фильтр)
    • Другие методы улучшения качества карты несоответствий: надежная подгонка плоскости, согласованная интенсивность, локальная согласованность и т. д.
  • Оптимизация точности субпикселя: поскольку значение несоответствия, полученное алгоритмом WTA, является точностью целого пикселя, его можно дополнительно уточнить с помощью субпикселя.
    • Алгоритм подбора одномерной квадратичной кривой: Сопоставьте одномерную квадратичную кривую через стоимость под оптимальным параллаксом и значение стоимости под левым и правым параллаксом и возьмите значение параллакса, представленное точкой минимального значения квадратичной кривой, в качестве уточненного значения несоответствия субпикселя. из

References

Категории