Традиционная регистрация (часть 1) | Оптический поток Лукаса – Канаде | IJCAI

Статья перенесена из: публичного аккаунта WeChat «Алхимия машинного обучения»
Автор: Alchemy Brother (авторизованный)
Контактная информация автора: WeChat cyx645016617
Название статьи: «Техника итерационной регистрации изображений с приложением к стереозрению»

«Предисловие»: в некоторых случаях сети регистрации, такие как воксельморф или SYMnet, использующие глубокое обучение, не могут достичь лучших результатов, чем традиционные методы, поэтому здесь я хочу изучить лучшую надежность RLOF (Rubost Local Optical Flow) Локальный оптический поток. Этот метод должен быть SOTA в традиционном методе оптического потока, но знания RLOF унаследованы от предыдущего метода, поэтому это цикл из трех статей, посвященных объяснению алгоритма традиционного оптического потока.

1 Три гипотезы

постоянная яркость: пиксель меняется со временем, а его значение яркости (значение серого пикселя) остается постоянным. Это основная настройка метода оптического потока. Все методы оптического потока должны удовлетворять требованиям.
маленькое движение: Изменения во времени не вызывают резких изменений положения. Таким образом, изменение значения серого, вызванное изменением положения между соседними кадрами, может быть использовано для получения частной производной уровня серого по отношению к положению. Все методы оптического потока должны удовлетворять требованиям.
пространственная согласованность: то есть соседние пиксели в предыдущем кадре также являются соседними в следующем кадре. Это допущение уникально для метода оптического потока LK. Потому что для того, чтобы получить скорость в направлениях x и y, необходимо установить несколько уравнений для одновременного решения. Предположение о пространственной согласованности может использовать окрестность n пикселей для установления n уравнений.

2 Построение уравнения

в соответствии сдопущение постоянной яркости, считается, что яркость точки в одном и том же положении в разное время одинакова, поэтому можно получить следующее уравнение:

в соответствии сгипотеза малого движения, мы можем сделать разложение Тейлора для малых движений:

Где HOT представляет минимум высокого порядка, и мы можем приблизить его к 0.

Таким образом, мы получаем два уравнения, вычитая два, мы можем получить следующие уравнения:

в $\frac{\partial I}{\partial x}$ Это частная производная света по оси X. Эту часть можно рассчитать по картинке, и она является известным числом; $\theta x$ Это скорость позиции x, и это параметр, который нам нужно решить, поэтому мы запишем приведенную выше формулу в следующем виде:

Далее, чтобы упростить формулу, мы рассматриваем только случай 2D-изображений. Есть три параметра выше, скорость x, y, z. Если это 2D-изображение, то учитывайте только скорость x и y:

В приведенной выше формуле $I_x$ представляет собой градиент яркости относительно x, $I_t$ представляет собой градиент яркости по отношению к t. Теперь мы обнаруживаем, что получена только эта формула, но нужно решить два параметра.

На этом этапе вводится последняя гипотезапространственная согласованностьЭто необходимость создать размер окрестности, предполагая, что 3x3 район. Таким образом, смысл этого предположения в том, что для этого девять 3х3 пикселей их скорость $V_x$ и $V_y$ Такие же. Таким образом, можно записать следующее уравнение:

Теперь у нас есть 9 уравнений, но только 2 параметра, это переопределенное уравнение, поэтому для решения нам нужно использовать метод наименьших квадратов, запишем приведенную выше формулу в матричной форме:

Эта матрица представляет собой матрицу 9x2, умноженную на 2x1, чтобы получить матрицу 9x1. Эта переопределенная задача решается методом наименьших квадратов:

Приведенная выше матричная форма решает два параметра путем инвертирования операции. Затем мы расширяем его в следующее уравнение:

Таким образом, мы можем вычислить скорости x и y в окрестности 3x3. Это расчетная формула метода оптического потока LK.