Индекс оценки обнаружения цели
Precision/Recall
| Верно (предсказано правильно) | False (ошибка прогноза) | |
|---|---|---|
| Положительный (прогнозируется как положительный) | Истинные положительные результаты (TP): количество положительных примеров, которые правильно классифицированы, то есть количество случаев, которые на самом деле являются положительными примерами и классифицируются классификатором как положительные примеры; | Ложные срабатывания (FP): количество ложных срабатываний, то есть количество случаев, которые на самом деле являются отрицательными, но классифицируются классификатором как положительные; |
| Отрицательный (прогнозируется как отрицательный) | Истинные негативы (TN): количество правильно классифицированных как негативные примеры, то есть количество экземпляров, которые на самом деле являются негативными и классифицируются классификатором как негативные примеры. | Ложноотрицательные результаты (FN): количество ложноотрицательных результатов, то есть количество случаев, которые на самом деле являются положительными, но классифицируются классификатором как отрицательные; |
Кривая PR
Мы надеемся, что чем выше результат обнаружения P, тем лучше, и чем выше R, тем лучше, но на самом деле в некоторых случаях они противоречат друг другу.
Итак, что нам нужно сделать, так это найти баланс между точностью и полнотой. Один из методов состоит в том, чтобы нарисовать кривую PR, а затем использовать площадь под кривой PR, AUC (площадь под кривой), чтобы судить о качестве модели.
Метрики IU
Обученная модель обнаружения объектов будет давать большое количество прогнозов, но большинство прогнозов будут иметь очень низкий показатель достоверности, поэтому мы рассматриваем только те прогнозы, достоверность которых выше определенного порога.
Исходное изображение отправляется в обученную модель, и после скрининга по доверительному порогу алгоритм обнаружения цели выдает результат предсказания с ограничительной рамкой:
IoU - это отношение пересечения и объединения предсказанного прямоугольника и наземной истины. Для каждого класса область, в которой перекрываются поле предсказания и наземная истина, является пересечением, а общая охватываемая область является объединением.
PR в обнаружении объектов
- TP: количество кадров обнаружения с IoU>0,5 (одна и та же Ground Truth вычисляется только один раз)
- FP: IoU
- FN: количество не обнаруженных GT
- Вычисление True Negatives сложно, поскольку мы не можем предсказать, что каждая часть объекта на изображении считается Negative.
- Точность = TP / ( TP + FP ) = TP / количество всех данных, предсказанных моделью как положительные выборки. Отзыв = TP / ( TP + FN) = TP / количество всех истинных классов данных, которые являются положительными выборками.
** Данные, помеченные как сложные в наборе данных PASCAL VOC, не учитываются при расчете**
mAP
Через кривую PR мы можем получить соответствующее значение AP:
- До 2010 года AP в конкурсе PASCAL VOC определялся следующим образом:
- Во-первых, результаты прогнозирования модели должны быть отсортированы (ранжированные выходные данные в порядке убывания достоверности каждого прогнозируемого значения).
- Делим значение отзыва от 0 до 1 на 11 частей: 0, 0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0.
- В каждом интервале отзыва (0–0,1, 0,1–0,2, 0,2–0,3, ..., 0,9–1,0) мы вычисляем максимальную степень точности, а затем вычисляем сумму и среднее значение этих максимальных скоростей точности, которое является значением AP. .
- С 2010 года конкурс PASCAL VOC заменил эти 11 точек отзыва всеми точками данных отзыва на кривой PR. Для определенного значения полноты r значение точности принимает максимальное значение среди всех полноты >= r (это гарантирует, что кривая p-r монотонно убывает, и позволяет избежать раскачивания кривой).Этот метод называется интерполяцией по всем точкам. Это значение АР также является площадью под кривой PR.
Метод расчета mAP в COCO
Используя IOU (используется для определения, является ли это T P ), рассчитайте AP 10 раз в [0,5: 0,05: 0,95], а затем рассчитайте AP путем усреднения.