** Резюме: ** Эта статья основана на обнаружении цели без привязки Алгоритм серии ReppointS, который содержит Reppoints, Reppoints V2, Dense Reppoints.
Введение
В последние два года все больше внимания уделяется безанкорному алгоритму обнаружения цели. В типичном алгоритме на основе привязки эффект модели часто ограничивается параметрами конфигурации привязки, такими как размер привязки, выборка положительных и отрицательных выборок, соотношение сторон привязки и т. д. что требует, чтобы разработчики хорошо понимали данные перед настройкой параметров привязки, чтобы обучить хорошую модель. Алгоритм без привязки может обучать хорошую модель обнаружения без настройки параметров привязки, что сокращает сложный процесс анализа данных перед обучением.
Алгоритмы без привязки можно дополнительно разделить на алгоритмы, основанные на опорных точках, и алгоритмы, основанные на ключевых точках. Алгоритм точки привязки по существу аналогичен алгоритму на основе привязки.Он обнаруживает цель, предсказывая центральную точку цели (x, y) и расстояние между кадром и центральной точкой (w, h).Типичные такие алгоритмы: FSAF, FCOS и т. д. Метод ключевых точек заключается в обнаружении граничных точек цели (таких как: угловые точки), а затем объединении граничных точек для формирования рамки обнаружения цели.Такие алгоритмы включают CornerNet, RepPoints , и т.д. В этой статье будет представлена работа серии алгоритмов RepPoints.
RepPoints — это статья в ICCV2019, в которой по-новому предлагается использовать наборы точек для представления цели Этот метод дает очень хорошие результаты без использования якорей. Как показано на рисунке 1, a) указывает, что общий алгоритм обнаружения целей использует горизонтальную ограничивающую рамку для представления информации о положении цели, а b) указывает метод, в котором RepPoints использует набор точек для представления информации о положении цели. Серия работ RepPoints фактически основана на представлении набора точек и вносит улучшения для дальнейшего повышения точности алгоритма с разных точек зрения: 1) Интеграция процесса проверки (т.е. сегментации) в RepPoints для дальнейшего улучшения результатов и получения RepPoints V2. 2) улучшен метод наблюдения за набором точек, а количество точек в наборе точек расширено для реализации единой парадигмы задачи сегментации целевой силы, а именно Dense RepPoints.
RepPoints
Структура алгоритма RepPoints показана на рисунке 2. В целом метод реализован на основе полностью сверточных сетей, но в отличие от других одноэтапных методов (например, RetinaNet), которые используют одну регрессию и одну классификацию для получения конечной целевой позиции, RepPoints использует две регрессии и одну классификацию, а также классификацию и последнюю. регрессия использует не нормальные свертки, а деформируемые свертки. Смещение деформируемой свертки получается посредством первой регрессии, что означает, что смещение контролируется во время обучения. Таким образом, последующие классификационные и регрессионные признаки выбираются вдоль цели, а качество признаков выше.
Рис. 2 Схема структуры RepPoints
Результаты RepPoints показаны в таблице 1, которые хорошо работают в одноэтапном методе и могут еще больше повысить точность с многомасштабным обучением и многомасштабным тестированием, намного превосходя предыдущие двухэтапные методы.
Таблица 1 Сравнение алгоритмов RepPoint и SOTA
RepPoints V2
Валидация (т. е. сегментация) и регрессия — две общие задачи для нейронных сетей, каждая из которых имеет свои преимущества: валидация проще в освоении и точна, регрессия обычно эффективна и предсказывает непрерывные изменения. Поэтому, комбинируя их определенным образом, можно в полной мере воспользоваться их преимуществами. RepPoints V2 добавляет модуль проверки на основе RepPoints для дальнейшего повышения производительности. Работа в этой статье имеет определенную масштабируемость, и этот модуль может быть добавлен к методу на основе регрессии для улучшения результатов.
Таблица 2. Сравнение производительности нескольких методов на основе проверки и регрессии
В таблице 2 представлен анализ результатов нескольких методов на СОСО Вал.. Видно, что метод с ветвью верификации имеет более высокий индекс на АР90, что свидетельствует о более высокой точности его результатов обнаружения.
Рисунок 3 Блок-схема RepPoints V2
RepPoints V2 добавляет ветвь сегментации, основанную на методе RepPoints.Сегментация в основном состоит из двух частей: одна — это сегментация прогнозирования углов, а другая — сегментация целевого переднего плана. Как показано на рисунке 3, после получения карты сегментации, с одной стороны, карта сегментации добавляется к исходному признаку как дополнение к признаку регрессии, с другой стороны, на этапе вывода, после получения ветви регрессии целевое положение, карта сегментации может быть использована для дальнейшего пересмотра результатов. В общем, добавление этой задачи может улучшить результаты на трех уровнях: многозадачность обычно напрямую улучшает общие результаты; использование карт сегментации для улучшения функций улучшает эффект регрессии, а интеграция результатов регрессии и результатов сегментации в вывод процесс также улучшается. Авторы экспериментально демонстрируют улучшения в этих трех аспектах, как показано в таблице 3.
Таблица 3. Исследование абляции
Dense RepPoints
На основе RepPoints Dense RepPoints расширяет задачу от обнаружения цели до сегментации экземпляров и использует более плотные точки для представления цели, чтобы достичь цели сегментации экземпляров.
RepPoints - это метод представления для обнаружения цели, использующий только 9 точек для представления цели,
Эти точки содержат только информацию о местоположении и не могут отображать более тонкую структуру объекта, что трудно применить к задачам сегментации экземпляров. По сравнению с RepPoints, Dense RepPoints использует больше точек для представления объектов и увеличивает информацию об атрибутах каждой точки:
При описании мелкозернистой геометрии объекта существует несколько представлений, см. рис. 4. Среди них контурный метод (рис. 4б) более компактно выражает объект и требует больше информации, а поскольку он уделяет больше внимания сегментации края объекта, ожидается получение более точных краев. Метод на основе маски сетки (рис. 4c) реализует сегментацию объектов путем классификации переднего плана/фона точек сетки, что легче для изучения. Основываясь на преимуществах этих двух выражений, Dense RepPoints использует метод краевой маски, показанный на рис. 4d, для представления объектов. Подобно представлению контура, представление маски края помещает точку, установленную в основном рядом с краем объекта, так что край объекта может быть представлен более точно; с другой стороны, подобно представлению маски сетки, этот метод использует репрезентативную точка переднего плана/фона Метод классификации используется для достижения сегментации объектов, что более способствует обучению.
Рисунок 4. Различные граничные выражения и методы выборки
Рисунок 5. Платформа Dense RepPoints
Представление цели RepPoints представлено набором точек R,
Функции для классификации и квадратичной регрессии получаются с помощью вышеупомянутой выборки набора точек (деформируемое преобразование) для получения F (R), количество точек увеличивается, а глубина F (R) будет увеличиваться линейно. В начальной версии RepPoint количество точек выборки равно 9, и их все еще можно использовать для обнаружения объектов. Для точного описания нестандартных целей часто требуются сотни точек,
Dense RepPoints используют более плотный набор точек для представления объектов, что также увеличивает объем необходимых вычислений и влияет на эффективность реализации. Плотные RepPoints используют три метода для решения проблемы увеличения объема вычислений: объединение групп, общие поля смещения, общая карта атрибутов.
Объединение групп, как показано на рис. 6, в основном решает сложность процесса классификации. Если для описания цели в эксперименте используется n точек, то она разбивается на k групп, каждая группа объединяется, а затем прогнозируется, сложность итоговой части классификации снижается с O(n) до O(k).
Рисунок 6. Объединение групп
Когда RepPoints исправляет смещение точек контура объекта (рис. 2), оно основывается на начальных предсказанных точках контура N, и каждая точка контура корректируется и прогнозируется операторами N деформируемого преобразования. Требуемая сложность составляет O(n^ 2). Этот метод не применим к алгоритму Dense RepPoints, который предсказывает плотные точки с точки зрения эффективности логического вывода. Dense RepPoint предлагает метод общих смещенных полей, который считает, что функция коррекции смещения каждой точки контура нуждается только в независимой корректировке исходной информации прогнозируемой точки контура, то есть каждая точка контура корректируется независимо, тем самым снижая сложность до O (н) . В частности, как показано на фиг.7, для каждой точки контура признак извлекается методом билинейной линейной интерполяции, и точка контура корректируется.
Рисунок 7. Общие поля смещения
Для общей карты атрибута, как показано на рисунке 8. Из-за сегментации вам нужно забить передний план. Процесс оценки разделен на четыре области точки в соответствии с положением точки, а разные области выделяются на разные каналы. В процессе рассуждения, чтобы получить балл точка, соответствующий канал сначала найден в соответствии с относительным положением цели, а затем оценка канала может быть выбран, чтобы получить оценку этой точки.
Рисунок 8. Карта общих атрибутов
Эффективность этих операций автор проверял сравнительными экспериментами: при увеличении количества точек объем вычислений практически не увеличивался, а результаты существенно улучшались.
Таблица 3. Ablation Study.GP означает Group Pooling, SOF означает общие поля смещения.
В дополнение к сокращению объема вычислений за счет серии операций, в документе Dense RepPoints также исследуется влияние различных распределений точек и то, как рассчитывается функция потерь на результаты. Для распределения наборов точек выборка краев объектов по расстоянию имеет наилучшую производительность в задачах сегментации экземпляров. Для функции потерь лучше рассчитать значение потерь от набора точек к набору точек, чем значение потерь от точки к точке.
резюме
Представление цели в виде набора точек (RepPoints) может обеспечить очень хороший баланс между точностью и вычислительной нагрузкой, а постобработка проста. На основе использования наборов точек для некоторых задач также может быть введена ветвь проверки в V2 для достижения более точного обнаружения.Точно так же можно ссылаться на Dense RepPoints, а Deformable Conv можно заменить более общей точечной выборкой для достижения этой цели. , Модели более масштабируемы и выразительны.
Нажмите «Подписаться», чтобы впервые узнать о новых технологиях HUAWEI CLOUD~