В документе HPatches для оценки дескрипторов на основе исправлений предлагаются три задачи оценки и обсуждаются соответствующие им индикаторы оценки и методы расчета.Три задачи оценки:

проверка патча: проверка патча
сопоставление изображений: сопоставление изображений
поиск патча: поиск патча

Эти задачи имитируют типичные сценарии применения патча, которые обсуждаются следующим образом.

0. Точность и отзыв

Во-первых, вводятся методы расчета точности и полноты в HPatches:

Во-первых, для запроса исправления, учитывая упорядоченный список исправлений, используйте $\mathbf{y} = (y_1, \ldots, y_n) \in \{-1, 0, +1\}^n$ Этот список в табличном формате соответствует метке: -1 для отрицательного, +1 для положительного и 0 для игнорирования.

затем для ранга $i$ Точность и полнота рассчитываются по следующим формулам соответственно.

точность: вперед $i$ Доля положительных образцов в каждом элементе

P_i(\mathbf{y}) = \frac{\sum_{k=1}^{i}[y_k]_+}{\sum_{k=1}^{i}|y_k|}

в $[z]_+ = \max \{0, z\}$

отзывать: вперед $i$ Доля положительных образцов во всей последовательности всех положительных образцов в элементах

R_i(\mathbf{y}) = \frac{\sum_{k=1}^{i}[y_k]_+}{\sum_{k=1}^{n}[y_k]_+}

Средняя точность:

1. проверка исправления: проверка исправления

Эта задача используется для классификации того, извлечены ли два фрагмента из одного и того же измерения (классифицировать, извлечены ли два фрагмента из одного и того же измерения), то есть совпадают ли два фрагмента.

В частности, учитывая список пар патчей $\mathcal{P} = ((\mathbf{x}_i, \mathbf{x}'_i, y_i), i=1, \ldots, N)$ , который содержит положительные и отрицательные образцы, $\mathbf{x}_i, \mathbf{x}'_i \in \mathbb{R}^{t \times t \times c}$ представляет собой патч, и $y_i=\pm 1$

На основе этого списка рассчитайте показатель достоверности между каждой парой $s_i$ , и отсортируйте список в порядке убывания в соответствии со степенью совпадения, чтобы получить новый список, извлечь из него его метку и вычислить точность и скорость отзыва в соответствии с приведенными выше методами расчета. $AP (y_{\pi 1}, \ldots, y_{\pi N})$ , в $\pi$ это отсортированное число, гарантированное $s_{\pi 1} \geq s_{\pi 1} \geq \ldots \geq s_{\pi N}$

Это очень похоже на пару патчей, используемую непосредственно во время обучения.Набор данных HPatchs генерирует в общей сложности $2 \times 10^5$ положительные образцы и $1 \times 10^6$ отрицательные образцы

Следует отметить, что здесь для сортировки используется степень соответствия, и нет ограничений на метод расчета степени соответствия, что позволяет настроить метод расчета степени соответствия и даже изучить метод использования метрического обучения, чтобы изучить его напрямую. .

В статье также говорилось, что из-за несбалансированного распределения выборки кривая ROC не использовалась, и это было не очень похоже на задачу сопоставления реальных изображений, поэтому была задача оценки, которая больше подходила для задачи сопоставления изображений.

2. сопоставление изображений: сопоставление изображений

Задача состоит в том, чтобы оценить, насколько хорошо дескрипторы патчей могут идентифицировать соответствия на двух изображениях.

В частности, в этой задаче дескриптор одного патча изображения используется для сопоставления с дескриптором другого патча изображения.

принять образ $L_k$ содержит N патчей, $L_k = (\mathbf{x}_{ik}, i = 1, \ldots, N)$ , затем задана пара изображений $\mathcal{D}=(L_0, L_1)$ , то после сопоставления $\mathbf{x}_{i0}$ как $\mathbf{x}_{i1}$ соответствующие патчи. Мы можем использовать эту пару изображений для оценки алгоритма

В частности, учитывая эталонное изображение $L_0$ участок $\mathbf{x}_{i0}$ , который находится на целевом изображении $L_1$ Соответствующий патч в $\mathbf{x}_{\sigma_i0}$ , доверительная вероятность $s_i \in \mathbb{R}$ , то его метка может быть задана следующим образом

y_i = 2[\sigma_i \overset{?}= i] - 1

То есть +1 за правильное совпадение и -1 за неправильное совпадение. Затем можно рассчитать AP, используя описанный выше метод для этой последовательности.Для всего набора данных общий показатель - это все совпадающие пары. $D$ Среднее значение средней точности.

Этот стандарт оценки очень похож на процесс сопоставления изображений.Каждая характерная точка на эталонном изображении находит соответствующую точку совпадения на целевом изображении и, наконец, вычисляет соответствующую степень совпадения.

3. поиск патча: поиск патча

Имея извлекаемую последовательность исправлений и пул исправлений для этой задачи, проверьте, в какой степени дескриптор исправления можно использовать для получения исправлений, извлекаемых из пула исправлений.Следует отметить, что эти пулы исправлений могут быть созданы из нескольких изображения, со многими отвлекающими факторами.

данный набор $\mathcal{P} = (\mathbf{x}_0, (\mathbf{x}_i, y_i), i = 1, \ldots, N)$ , в $\mathbf{x}_{0}$ взято из эталонного изображения $L_0$ получилось, остальные патчи взяты из других изображений той же сцены $L_k, k = 1, \ldots, K$ и многие другие интерференционные изображения, $\mathbf{x}_{1}$ правильное совпадение $y_i = +1$ , иначе равно -1. Поскольку совпадающее изображение содержит K сцен, имеется не более K положительных отсчетов, а остальные — отрицательные отсчеты, поэтому, если извлеченный фрагмент находится в совпадающем изображении, но не в совпадающем фрагменте, результат будет проигнорирован, т. е. $y_i = 0$ .

Наконец, для каждого $\mathbf{x}_i$ Учитывая уровень достоверности, AP можно рассчитать с использованием вышеуказанного метода.

HPatch дает в общей сложности $1 \times 10^4$ патчи, каждый с 5 положительными образцами, и $2 \times 10^4$ образцы интерференции.

4. Окончательный результат