В этой статье предлагается метод оптимизации гиперпараметров AABO, который основан на байесовской оптимизации и методе подвыборки и может адаптивно искать оптимальные настройки привязки. Судя по экспериментальным результатам, AABO может оптимизировать только настройку привязки, что повышает производительность метода обнаружения целей SOTA на 1,4–2,4 %.

Источник: Заметки по разработке алгоритмов Xiaofei Public Account.

Бумага: AABO: Оптимизация адаптивного поля привязки для обнаружения объектов с помощью байесовской подвыборки

Адрес бумаги:АР Вест V.org/ABS/2007.09…

Introduction

В настоящее время основные алгоритмы обнаружения целей используют блоки привязки различной формы в качестве начальных прогнозов, а затем выполняют регрессионную корректировку блоков привязки.Конфигурация блоков привязки является очень важным гиперпараметром в алгоритме обнаружения. В общем, конфигурация блока привязки просто задается людьми, например, классические 9 форм Faster R-CNN, или набор данных может быть проанализирован с помощью k-средних, таких как YOLO, для получения конкретной конфигурации.
Для ручной установки гиперпараметров в последние годы проводится множество исследований по гиперпараметрической оптимизации (HPO, гиперпараметрическая оптимизация), наиболее эффективными методами являются байесовская оптимизация (БО) и бандит-ориентированные стратегии. После анализа преимуществ и недостатков текущего метода в статье предлагается адаптивный метод оптимизации якоря AABO, основанный на байесовской оптимизации и методе подвыборки, который может автоматически и эффективно искать оптимальные настройки якоря. сдерживание основных алгоритмов обнаружения объектов.

Relative Method

Вот краткое введение в три метода поиска гиперпараметров, которые часто упоминаются в статье, чтобы облегчить последующее понимание.

Bayesian optimization

Проверка гиперпараметров обычно требует обучения модели, что занимает много времени, поэтому суть байесовской оптимизации заключается в использовании альтернативной модели (априорной функции) для представления целевой модели, а альтернативная модель, как правило, является моделью распределения вероятностей. После получения замещающей модели используйте функцию сбора данных, чтобы выбрать подходящий набор гиперпараметров из набора кандидатов для тестирования.Функция сбора данных должна иметь возможность хорошо сбалансировать разведку и разведку, а тест использует целевую модель для обычного обучения и проверки ., и, наконец, добавьте текущий результат к данным наблюдения, чтобы обучить суррогатную модель, и повторите описанные выше операции.

Полный процесс байесовской оптимизации показан выше. В каждом раунде итерации получается набор гиперпараметров на основе суррогатной модели и функции сбора, а затем целевая модель используется для проверки. Наконец, результаты проверки добавляются в набор данных наблюдения и суррогатная модель обновляются.

Hyperband

Бандитный метод находит оптимальные гиперпараметры с эффективной стратегией в случае ограниченных ресурсов.Ресурсами могут быть время, количество итераций и т. д., а Hyperband — классический бандитный метод. Гиперполоса расширяется на основе алгоритма последовательного деления пополам.Каждый раз, когда пакет гиперпараметров выбирается для нескольких раундов итераций, каждый раунд итерации будет $B$ Равномерно распределяется по комбинации гиперпараметров, подлежащей проверке, сохраняется в конце каждого раунда. $1/\eta$ Комбинация гиперпараметров для следующего раунда.

Полный процесс Hyperband показан выше, $R$ Максимальные ресурсы, которые могут быть выделены для одной группы гиперпараметров, включая два цикла, внешний цикл отвечает за контроль начального количества ресурсов, которые могут быть выделены для каждой проверки. $r$ и количество проверенных пакетов $n$ , постепенно увеличивая $r$ и уменьшить $n$ , группировки получаются методом случайной выборки. Во внутреннем цикле выполняется алгоритм последовательного деления пополам, и всего $s$ итераций, постепенно увеличивайте выделяемые ресурсы каждой группы и сохраняйте оптимальные $1/\eta$ группировка.

BOHB

На самом деле, два вышеупомянутых классических метода гиперпараметров имеют свои преимущества и недостатки.Хотя байесовская оптимизация эффективна в поиске, легко попасть в локальные оптимальные решения.Хотя гиперполоса более всеобъемлюща в поиске, она недостаточно эффективна. Таким образом, BOHB сочетает в себе байесовскую оптимизацию и Hyperband для оптимизации гиперпараметров.

Полный процесс BOHO показан выше.Можно просто заменить случайную выборку Hyperband байесовской оптимизацией для выборки, а затем добавить комбинацию гиперпараметров Hyperband и соответствующие выходные данные к данным наблюдения для обновления модели замены. Следует отметить, что альтернативной моделью BOHO является многомерная модель оценки плотности ядра (KDE), аналогичная TPE (Tree Parzen Estimator). Как упоминалось в документе, у BOHO есть серьезная проблема.Для образцов, которые трудно изучить, обычно требуется более длительный период обучения.Поскольку BOHO использует HyperBand для быстрой проверки, он может быть не в состоянии полностью измерить истинные и точные гиперпараметры. ставка, что приводит к смещенным окончательным результатам.

Preliminary Analysis

Default Anchors Are Not Optimal

Произвольно выберите 100 наборов различных настроек привязки, каждый из которых содержит 3 размера и 3 соотношения сторон, а затем сравните производительность с конфигурацией привязки по умолчанию Faster R-CNN. Результаты показаны на рисунке выше.Красная линия – производительность настроек по умолчанию.Видно, что настройки по умолчанию не оптимальны.

Anchors Influence More Than RPN Structure

Используйте BOHB для одновременного поиска структуры заголовка RPN и настроек привязки.Пространство поиска заголовка RPN показано на рисунке выше.

Результаты показаны в таблице выше.Видно, что улучшение производительности, вызванное поиском настроек привязки, в определенной степени выше, чем при поиске структуры заголовка RPN.

Search Space Optimization for Anchors

В документе создается узкое пространство поиска путем анализа характеристик распределения целевого блока, в основном на основе следующих двух характеристик.

Upper and Lower Limits of the Anchors

В документе подсчитываются размер и соотношение сторон целевого набора данных COCO, а также получаются верхняя и нижняя границы соотношения:

Статистические результаты показаны на рисунке выше, где синие точки — это каждая цель, желтые линии — верхняя и нижняя границы, а черный прямоугольник посередине — пространство поиска поискового эксперимента BOHB. Видно, что часть пространства поиска находится за пределами верхней и нижней границ, что является недопустимым поиском, поэтому необходимо ограничить пространство поиска между верхней и нижней границами. Кроме того, на рисунке есть 5 красных прямоугольников, которые являются соответствующими пространствами поиска, установленными в статье для каждого слоя РПН, которые будут упомянуты ниже.

Adaptive Feature-Map-Wised Search Space

В статье делается статистика по выходу каждого слоя FPN, и результаты показаны на рисунке выше. Видно, что разные слои содержат разное количество и формы выходов.По мере увеличения количества слоев уменьшается количество якорей и уменьшается диапазон соотношений сторон.

На основе приведенного выше анализа в документе создается адаптивное пространство поиска FPN.Область между пятью красными прямоугольниками на рисунке 4 и верхней и нижней границами представляет собой пространство поиска, соответствующее каждому уровню FPN. Конкретный поиск показан на рисунке выше.Каждый слой имеет независимое пространство поиска.Чем больше количество слоев, тем меньше количество якорей, диапазон размеров и диапазон соотношения сторон. На самом деле, по сравнению с пространством поиска черного прямоугольника на рисунке 4, это адаптивное пространство поиска FPN больше, а меньшее пространство поиска каждого слоя помогает алгоритму HPO выполнять поиск более интенсивно.

Bayesian Anchor Optimization via Sub-sampling

Метод поиска, предложенный в статье, показан на рис. 7, включая методы БО и подвыборки, которые используются для выбора потенциальных настроек и выделения разных вычислительных ресурсов для разных настроек соответственно. Общая идея аналогична BOHB, а Hyperband заменен методом Sub-Sample.

Bayesian Optimization

Когда статья реализована, модуль BO подобен BOHB, используя TPE (Tree Parzen Estimator) в качестве функции плотности ядра для моделирования.TPE содержит две функции плотности вероятности: $l(x)=p(y<\alpha | x, D)$ и $g(x)=p(y>\alpha | x, D)$ , представляют вероятность хорошего результата и вероятность плохого результата соответственно, где $D=\{(x_0, y_0), \cdots, (x_n, y_n)\}$ – текущие данные наблюдения, $\alpha=min\{y_0, \cdots, y_n\}$ - оптимальный результат текущих данных наблюдения, который берется при выборке $l(x)/g(x)$ Самая большая комбинация гиперпараметров. Следует отметить, что, поскольку Hyperband гарантирует точность только конечных результатов вывода, другие результаты останавливаются посередине, а ресурсов недостаточно, и вывод может быть неточным. $g(x)$ Выполнение обучения вызовет большую ошибку, поэтому необходим лучший способ решить эту проблему.

Sub-Sample Method

Sub-Sample также является бандитским методом, в случае ограниченных ресурсов старайтесь как можно больше тестировать высококачественные комбинации-кандидаты гиперпараметров. определение $\mathcal{I}=\{1,2,\cdots, K\}$ Для возможных комбинаций гиперпараметров метод подвыборки основан на наблюдаемых данных. $Y^{(k)}_1$ выбирать, $Y^{(k)}_1,Y^{(k)}_2,\cdots,1\le k\le K$ является возвратом текущей точки наблюдения относительно предыдущей точки наблюдения.

Метод подвыборки показан выше, сначала выполняется минимальный ресурс для всех комбинаций гиперпараметров. $b$ тест, получить пакет данных наблюдения, а затем выбрать комбинацию гиперпараметров с наиболее используемыми ресурсами в качестве лидера в каждом раунде.Если другие комбинации лучше, чем лидер, дать им ресурсы $b$ , иначе дайте лидеру ресурс $b$ , чтобы определить текущую комбинацию $k^{'}$ Это лучше, чем лидерская комбинация $k$ Существуют следующие два правила:

Первое правило – судить по количеству наблюдений, $c_n$ является неотрицательным монотонным порогом, используемым для контроля минимального количества наблюдений для каждого гиперпараметра, обычно устанавливаемого на $\sqrt{\log n}$ . Второе правило основано на недавней доходности двух портфелей, и чем выше доходность, тем лучше.

Experiment

Оптимальная комбинация якорей найдена в наборе данных COCO.

Сравните различные наборы данных.

Внедрение метода SOTA для сравнения.

Сравнительные эксперименты с другими методами.

Conclustion

В статье предлагается метод оптимизации гиперпараметров AABO, который основан на байесовской оптимизации и методе подвыборки и может адаптивно искать оптимальные настройки привязки. Судя по экспериментальным результатам, AABO может оптимизировать только настройку привязки, что повышает производительность метода обнаружения целей SOTA на 1,4-2,4%.

Справочное содержание

BOHB -- nani.прочитайте документ s.io/this/latest/t…

Если эта статья была вам полезна, ставьте лайк или смотрите~

Для получения дополнительной информации, пожалуйста, обратите внимание на общедоступную учетную запись WeChat [Примечания по разработке алгоритмов Xiaofei].