[PaperRead]Boundary IoU: Improving Object-Centric Image Segmentation Evaluation

«Это первый день моего участия в первом испытании обновлений 2022 года. Подробную информацию о мероприятии см.:Вызов первого обновления 2022 г.".

Название бумаги:Boundary IoU: Improving Object-Centric Image Segmentation Evaluation

Авторы: Боуэн Ченг, Росс Гиршик, Петр Доллар, Александр С. Берг, Александр Кириллов

Код:Сообщение GitHub.com/blog, кроме 0221/…

Как следует из названия, Boundary IoU — это IoU между граничными контурами.

Аннотация и введение

Предлагается новый метод оценки сегментации, основанный на качестве границ, Boundary IoU; граничный IoU значительно более чувствителен к граничным ошибкам для больших объектов, чем стандартные маскированные измерения IoU, и не налагает чрезмерных штрафов за ошибки для более мелких объектов по сравнению с другими методами. больше подходит в качестве индикатора для оценки сегментации.Кроме того, например, сегментация, эта статья предлагаетBoundary Average Precision(Граница AP) для паноптической сегментации, предложеннаяBoundary Panop-tic Quality (Boundary PQ)
Для задач сегментации разные индикаторы оценки имеют разную чувствительность к разным типам ошибок, сеть легко решает чувствительные типы индикаторов, в то время как влияние других типов ошибок неудовлетворительно;
Граничное качество маски является важным показателем сегментации изображения, и различные последующие задачи напрямую выигрывают от более точной сегментации;
Прогноз текущей сети сегментации недостаточно точен, а края также грубы,Эта ситуация показывает, что текущие метрики оценки могут быть чувствительны к ошибке прогнозирования целевой границы.;
В большом количестве статей AP может достигать 80 или 90, и в нескольких статьях упоминается граничное качество их масок.

Связанные индикаторы

Различные релевантные индикаторы следующие:

Сначала объясните несколько существительных:

Симметричный: изменяет ли обмен GT (GroundTruth) и Pred (прогноз) значение измерения;
Предпочтение: измерить, смещен ли метод в сторону определенного типа предсказания, т.е. какое значение больше после обмена;
Нечувствительность: типы ошибок, которые менее чувствительны к измерению, например, F-мера менее чувствительна к маленьким объектам;
Trimap: грубое разделение данного изображения делит данное изображение на передний план, фон и неизвестную область, которую необходимо решить;
Измерение на основе маски: учитывайте все пиксели объекта;
Граничная мера: измерить качество сегментации прогнозируемой границы. В отличие от меры на основе маски, этот метод оценивает границу и ее соседние пиксели;
d: ширина в пикселях узкой полосы границы в измерении на основе границ.

Анализируя недостатки различных связанных индикаторов, мы рисуем характеристики, которыми должен обладать Boundary IoU:Также учитываются классификация, локализация и качество сегментации.

Кроме того, мы должны обратить особое внимание на $G_d$ и $G_d\cap G$ разница, $G_d$ являются обеими сторонами границы, а $G_d\cap G$ внутренняя часть границы:

Маска IoU и точность пикселей

Вклад всех пикселей в показатель одинаков, при этом пиксели внутри объекта растут квадратично, а их границы растут только линейно, поэтомуНедостаточно чувствителен к границам более крупных объектов.

Принципиальная схема метода расчета Mask IoU:

Trimap IoU

Индекс сегментации на основе границ рассчитывает IoU в узкой полосе d пикселей от границ GT и pred.Схема метода расчета выглядит следующим образом (для удобства упрощена до прямоугольника и отображается только граничная часть ):

Нужно обратить внимание на знаменатель $G_d\cap G$ .

Feature Measure

Первоначально F-мера была предложена для обнаружения границ, но также использовалась для оценки качества сегментации. В исходной постановке для вычислений используется сопоставление двудольных графов, что является затратным в вычислительном отношении для изображений высокого разрешения, поэтому предлагается алгоритм аппроксимации, допускающий повторное сопоставление,Точность — это доля pred в контуре pred \ от пикселей в контуре GT \ \ пикселей в пределах d пикселей \, то же верно и для отзыва. Не очень понятно, исходный текст такой:

Схематическая диаграмма метода расчета Precision and Recall выглядит следующим образом:

Boundary IoU

Граница IoU более чувствительна к ошибкам границ больших объектов и не слишком наказывает маленькие объекты.

Интуитивно это пересечение контуров GT и Pred, разделенных объединением, ноЗдесь контур находится внутри объекта $G_d$ , $P_d$ , исключая часть вне объекта.

Хотя он очень похож на Trimap IoU, лично я думаю, что это модернизированная версия Mask IoU, которая убирает влияние огромных пикселей внутри объекта в целом, делая его более совершенным по своей природе.

Схематическая схема, приведенная в статье, выглядит следующим образом:

Я нарисовал это:

По сути, это IoU границы

Анализ чувствительности

Чтобы провести систематическое сравнение, в этой статье GT обрабатывается для формирования псевдопрогноза с помощьюмоделированиеРазличные типы ошибок используются для максимально возможной имитации реальных типов ошибок.Последняя часть в основном доказывает превосходство Boundary IoU посредством экспериментов.

ошибка масштаба

Выполняя операции расширения и эрозии на GT, серьезность ошибки контролируется радиусом вычислительного ядра.

Ошибка позиционирования границы

Добавьте случайный гауссов шум в каждую вершину полигона на GTкоординировать, серьезность ошибки определяется стандартным отклонением гауссовского шума.

Ошибка позиционирования объекта

Смещайте объекты в GT на несколько пикселей случайным образом, серьезность ошибки определяется длиной сдвинутых пикселей.

Ошибка аппроксимации границы

Использует упрощенную формулу Sharply для удаления вершин многоугольника, сохраняя при этом упрощенный многоугольник как можно ближе к исходному изображению, при этом серьезность ошибки контролируется параметром допуска функции.

ошибка внутренней маски

Добавление отверстий произвольной формы в ГТ, несмотря на то, что этот тип ошибки встречается нечасто, включено в эту статью для оценки влияния ошибок внутренней маски.

Детали эксперимента

набор данных: авторы случайным образом выбрали маски экземпляров из проверочного набора LVIS V0.5, поскольку этот набор данных имеет высококачественные аннотации.

Процесс реализации: путем изменения типа ошибки и серьезности ошибки, записи среднего значения и стандартного отклонения каждого типа, а также путем разделения различных областей для сравнения оценки показателей для объектов разного размера.

где d установлено равным 2% от диагонали изображения.

Анализ существующих методов

Mask IoU

теоретический анализ:

Mask IoU имеет следующие два свойства:

масштабная инвариантность(снято самостоятельно): то есть дляфиксированныйЧем больше площадь объекта сегментации, тем больше неправильных пикселей, и разница между ними пропорциональна значению Mask IoU.

разница в наказании(Я взял это сам): при масштабировании объекта количество внутренних пикселей увеличивается квадратично, а граничные пиксели растут только линейно.Разные скорости роста этих двух факторов заставляют Mask IoU терпеть больше неправильных классификаций на больших границах объекта.

Эти два свойства на самом деле указывают на одну и ту же проблему — Mask IoU более терпима к граничным ошибкам больших целей, при этом наказывая маленькие цели.

Эмпирический анализ:

масштабная инвариантностьОсновано на предположении, что граничная ошибка в аннотации GT также увеличивается с размером объекта.

Однако исследования показали, что независимо от размера объекта расстояние в пикселях между двумя контурами одного и того же объекта, отмеченными разными аннотаторами, редко превышает 1% диагонали изображения.

В данной статье изучаетсяДвойные аннотированные изображенияподтвердить это следующим образом:

Площадь холодильника в 100 раз больше площади крыла, но в пределах той же площади разрешения различия между аннотациями визуально довольно схожи.

Маска IoU двух контуров из двух составляет 0,97, 0,81 соответственно, а их граничная IoU ближе, 0,87, 0,81 соответственно. Это показывает, что Mask IoU«Штраф» за изображения маленького размера больше.

эксперимент: Имитация расширения/коррозии одинаковой степениошибка масштаба, что значительно снижает Mask IoU небольших объектов, а Mask IoU увеличивается с размером объекта, как показано на следующем рисунке:

Суммировать:

Основным недостатком Mask IoU является его нечувствительность к границам больших объектов.
Напротив, Boundary IoU уделяет больше внимания границам объектов.

Trimap IoU

Trimap IoU является асимметричным, замена GT и Pred даст разные значения. На приведенном ниже графике показано, что предпочтение отдается Pred, превышающему GT:

можно увидеть:

Независимо от серьезности инфляции, ее значение всегда больше некоторого положительного значения, а «штраф» для мелких объектов все еще слишком велик.
Коррозия падает до нуля.

Простое доказательство:

Синяя часть - это псевдопрогнозы (псевдопрогноз), а красный прямоугольник - контур ГТ. Видно, что когда псевдопрогнозы полностью содержат ГТ, его значение не изменится.

Точно так же, когда псевдопрогноз полностью содержится в GT, числитель равен 0, а конечное значение равно 0.

F-measure

F-мера полностью игнорирует небольшие ошибки контура, но работает плохо, быстро падая до 0 за короткое время:

Суммировать

Подводя итог, можно сказать, что ни F-мера, ни Trimap IoU не могут заменить Mask IoU, а Mask IoU также имеет дефекты, которые нельзя игнорировать, поэтому в этой статье предлагается граничный IoU.

Boundary IoU

формула

Упрощенная формула IoU

IoU = \frac{G_d\cap P_d}{G_d\cup P_d}

В формуле напрямую используются G_d, P_d, потерянныеострая часть краяИнформация

Формула Boundary IoU выглядит следующим образом:

Boudary\_IoU(G,P)=\frac{|(G_d\cap G)\cap(P_d\cap P)|}{|(G_d\cap G)\cup(P_d\cap P)|}

Параметр d управляет чувствительностью измерения.Когда d достаточно велико, граничный IoU эквивалентен маскирующему IoU; если используется меньшее d, граничный IoU будет игнорировать внутренние пиксели, делая его более чувствительным к граничным пикселям.

Более того, для объектов меньшего размера граничный IoU очень близок или даже эквивалентен Mask IoU, в зависимости от параметра d.

Маска IoU против граничной IoU: анализ чувствительности

В этой статье сравнивается производительность Mask IoU и Boundary IoU при различных типах ошибок для объектов с площадью более 96 ^ 2:

Boundary IoU лучше использует диапазон 0–1 для каждого типа ошибки.

Используется фиксированная серьезность ошибки, псевдопрогнозирование используется для объектов разных размеров, а области делятся с шагом 16 ^ 2. Ниже приведены две производительности:

можно увидеть:

Для более крупных объектов Boundary IoU остается плоским с той же серьезностью, в то время как Mask IoU явно смещен в сторону более крупных объектов;
Для объектов меньшего размера оба имеют схожие показатели, что указывает на то, что ни один из них не подвергается чрезмерному наказанию.

Boundary IoU vs Trimap IoU

У этих двух есть определенное сходство. Граничный IoU учитывает пиксели на краю Pred и GT. Это простое улучшение изменяет два недостатка Trimap IoU, один — асимметрия, а другой — 5,2, то есть он не может полностью использовать 0 -1 диапазон.

Boundary IoU vs F-measure

F-мера использует жесткое предсказание между контурами — если пиксели между контурами находятся в пределах расстояния d, то и Precision, и Recall идеальны, однако, когда они оба находятся за пределами d, совпадения не произойдет (см. 4.3, его значение быстро упадет до 0).

И Boundary IoU использует своего рода мягкую сегментацию, изменение мягкое.

В приложении к статье есть подробный анализ.

параметр расстояния между пикселями d

Как упоминалось выше, когда d достаточно велико, Boundary IoU эквивалентен Mask IoU.Когда d слишком мало, Boundary IoU будет строго наказан.

Чтобы выбрать подходящий параметр d, в этой статье проводятся эксперименты с двумя наборами данных, COCO и ASE20K (которые имеют одинаковое разрешение), и обнаруживается, что, когда d представляет собой изображение2% диагонали (около 15 пикселей)медианное значение Boundary IoU для обоих наборов данных превышает 0,9.

Для изображений большего разрешения в Cityscapes автор также рекомендует использовать то же расстояние в пикселях (около 15), установив d на 0,5% от диагонали.

Для других наборов данных авторы рекомендуют учитывать два фактора (не понял:

Сделайте согласованность аннотации, установите нижнюю границу на d
d следует выбирать на основе производительности текущего метода и уменьшать по мере увеличения производительности.

Ограничения граничного IoU

Boundary IoU не оценивает пиксели, удаленные от контура более чем на d, такие как круглая маска и круглая маска:

Очевидно, что его граничное значение Iou чрезвычайно велико и равно 1.

Чтобы исправить эту ситуацию, авторы предлагают объединить Boundary IoU и Mask IoU и взять их минимальное значение.

Кроме того, в ходе эксперимента также было обнаружено, что граничный IoU меньше или равен Mask IoU в 99,9% случаев, а в редких случаях граничный IoU больше, чем Mask IoU, как показано на рисунке выше. .

применение

Как упоминалось выше, автор объединяет две долговые расписки, в зависимости от того, какая из них наименьшая.

Boundary AP for instance segmentation

Цель задачи сегментации экземпляра — очертить каждый объект маской на уровне пикселей, а его метрика оценки — одновременно оценить несколько аспектов, таких как классификация, локализация и качество сегментации.

В этой статье проводятся эксперименты с использованием (синтетических прогнозов) синтетических прогнозов и реальных моделей.

Синтетические прогнозы:

Синтетический прогноз позволяет индивидуально оценить качество сегментации.

конкретный метод:

Используя набор данных COCO, уменьшите масштаб GT до маски непрерывного значения 28X28, увеличьте его обратно с помощью билинейной интерполяции и, наконец, бинаризируйте его. Как показано ниже

Эта синтетическая маска очень близка к GT, но разница увеличивается с размером объекта, поэтому более крупные объекты после обработки должны иметь более низкие значения IoU.

Нижний индекс указывает на размер объекта, видно, что для более крупных объектов значение Boundary IoU ниже, а значение Mask IoU сохраняется на высоком уровне.Это также показывает чувствительность Boundary IoU к границам крупных объектов..
Экспериментальные результаты: эксперименты были выполнены на маске RCNN, Pointrend и BMASS RCNN модели, и результаты следующие:

Как всем известно, Маск RCNN дивизиона неудовлетворительно работает на крупных объектах (не знаю), это видно из таблицы превосходства Границы Ар

Кроме того, приведенная выше таблица также доказывает, что PointRend лучше работает с более крупными объектами, чем BMask RCNN.

В приведенной выше таблице показано, что более глубокая магистральная сеть не приводит к значительному улучшению качества сегментации.

реальная модель:

Дальнейшие эксперименты с достоверными прогнозами, полученными на основе существующих моделей сегментации, помогут лучше понять производительность граничного IoU в различных аспектах задачи сегментации экземпляров.

конкретный метод:

Чтобы отделить качество сегментации от ошибок классификации и локализации, авторы предоставляют для этих методов ящики истинности и присваивают им случайную достоверность.
Результаты экспериментов:

Модель обучена на наборе данных COCO и проверена на LVIS v0.5

Модель обучена и проверена на Cityscapes

Boundary PQ

На следующем рисунке показана формула стандартного PQ

Замените Mask IoU комбинацией Mask IoU и Boundary IoU, в зависимости от того, какая из них наименьшая.

Синтетические прогнозы:

Верный прогноз:

Суммировать

В отличие от Mask IoU, Boundary IoU обеспечивает явный количественный градиент, который вознаграждает улучшенное качество сегментации границ. Авторы надеются, что Boundary IoU может побудить больше людей разрабатывать новые методы высокоточного прогнозирования по маске. Кроме того, Boundary IoU позволяет проводить более детальный анализ ошибок, связанных с сегментацией, для сложных задач, таких как экземплярная и паноптическая сегментация. Включение метрик в инструменты анализа производительности, такие как TIDE [2], может обеспечить лучшее понимание конкретных типов ошибок для моделей сегментации экземпляров. (прямой перевод)

воспроизведение кода

Граница Iou для двоичных изображений

 # 将二值Mask转化为Boundary mask
 def mask_to_boundary(mask, dilation_ratio=0.01):
     h, w = mask.shape
     img_diag = np.sqrt(h ** 2 + w ** 2)
     dilation = int(round(dilation_ratio * img_diag))
     if dilation < 1:
         dilation = 1
     # Pad image so mask truncated by the image border is also considered as boundary.
     # 将mask使用0填充一圈，防止dilation为1时
     new_mask = cv2.copyMakeBorder(
         mask, 1, 1, 1, 1, cv2.BORDER_CONSTANT, value=0)
     kernel = np.ones((3, 3), dtype=np.uint8)
     # 对mask进行腐蚀操作
     new_mask_erode = cv2.erode(new_mask, kernel, iterations=dilation)
     mask_erode = new_mask_erode[1: h + 1, 1: w + 1]
     # G_d intersects G
     return mask - mask_erode
 
 def boundary_iou(mask, pred):
     intersect = mask*pred
     ite = np.sum(intersect == 1)
     un = mask+pred
     union = np.sum(un >= 1)
     return ite/union

Эффект следующий: