[Алгоритм оптимизации стратегии улучшения изображения (1)] AutoAugment — новаторская работа по автоматизации стратегии увеличения выборки.

1. Introduction

Аугментация данных – это уловка, часто используемая в различных задачах компьютерного зрения. Различные стратегии увеличения данных могут преобразовывать изображения и повышать ценность ограниченных данных. Это относится к изменению характеристик выборки в соответствии с предшествующими знаниями при условии сохранения неизменной метки выборки, так что вновь созданная выборка также соответствует или приблизительно соответствует реальному распределению данных. Расширение данных может предотвратить переоснащение. Увеличение размера набора данных является наиболее важным способом решения проблемы переобучения. Однако сбор выборочных данных и маркировка часто обходятся очень дорого. На ограниченных наборах данных технология увеличения данных Количество обучающих выборок может быть увеличено для получения определенной степени улучшения производительности. Общие методы улучшения данных включают аффинное преобразование, преобразование перспективы, преобразование яркости, повышение резкости, размытие, окклюзию и т. д. Эти преобразования улучшения обычно не изменяют метку категории целевого изображения.

За прошедшие годы в области компьютерного зрения было предложено множество методов улучшения данных, но методы улучшения данных, соответствующие каждому набору данных, разрабатываются вручную или основаны на опыте. Какие стратегии улучшения данных следует использовать для каждого отдельного набора данных? что Есть относительно немного исследований в этой области. Основная идея AutoAugment — найти наиболее подходящую стратегию улучшения для каждого набора данных с помощью алгоритмов обучения с подкреплением.

2. Принцип автоаугментации

2.1 Пространство поиска

Операторы расширения, используемые AutoAugment, показаны на рисунке ниже, всего 16 операторов расширения (два в разных направлениях XY):

AutoAugment определяет стратегию поиска следующим образом:

Наконец, процесс поиска выводит расширенную политику.
Одна политика содержит пять подполитик.
1 подполитика содержит 2 операции (всего 16 операций для кандидатов).
Каждая операция содержит 2 гиперпараметра: вероятность и величину.

Примеры результатов поиска, как показано ниже:

Анализ пространства поиска AutoAugment:

Дискретизация вероятности и величины: два гиперпараметра вероятности и величины соответственно дискретизируются в целые значения [0-10], [1-10], затем соответствующая политика может быть найдена с помощью алгоритма поиска дискретных значений.
Каждая подполитика существует $(16*10*11)^2$ Возможно возможно.
Каждая политика существует $(16*10*11)^{2*5}≈2,9*10^{32}$ Возможность.

2.2 Алгоритм поиска

Ссылаясь на поиск NAS, обучение с подкреплением принимается в качестве алгоритма поиска, RNN выводит стратегию улучшения данных S в каждом раунде и использует S для обучения подмодели на подмножестве целевого набора обнаружения для 120 эпох, чтобы получить уровень точности R набора проверки, а затем используйте R. Чтобы оптимизировать RNN, весь процесс длится 15 000 раз.

Примечание. Метод обновления градиента здесь в основном использует алгоритмы оптимизации проксимальной политики, потому что время обучения этого метода очень велико, и этот метод обучения с подкреплением в дальнейшем почти больше не используется, поэтому я не буду вводить его слишком много.

2.3 Использование результатов поиска

После завершения поиска пять наиболее эффективных политик извлекаются и объединяются в одну политику (всего 25 вложенных политик), и одна из 25 вложенных политик выбирается случайным образом для каждого пакета данных во время формального обучения.

3. Экспериментальный эффект

Лучшая стратегия, найденная на cifar-10:

Как показано на рисунке ниже, результаты поиска каждого набора данных хорошие, а частота ошибок классификации в определенной степени снизилась:

Кроме того, применение стратегии улучшения данных, найденной в ImageNet, к другим наборам данных имеет определенные возможности миграции:

4. Взносы AutoAubment и недостатки

Основные вклады:

Новаторская работа по оптимизации стратегии улучшения данных, которая доказывает, что стратегия улучшения данных поиска осуществима и эффективна.
Предлагаемое пространство поиска (определение стратегии увеличения данных) очень поучительно, и последующие статьи в основном следуют его методу определения пространства поиска.

недостаток:

Пространство поиска алгоритма огромно, и использование алгоритма обучения с подкреплением в качестве алгоритма поиска требует слишком много времени: набор данных cifar10 часто обучается в течение 80–100 эпох, прежде чем произойдет прирост производительности за счет улучшения данных. каждую модель нужно обучить на 120 эпох.обучить нужно 15000 подмоделей, то есть всего требуется обучение $120*15000$ эпохи.
По сравнению со случайным поиском эффект поиска значительно не улучшается: для 25 подполитик в финальном поиске всего 50 операций, если порядок операций перемешивается, операция, вероятность и величина выбираются каждый раз случайным образом. , а итоговая производительность будет отличаться всего на 0,4 процентного пункта. Более того, автор никогда не сравнивал разницу в производительности между стратегией случайного поиска и AutoAugment, и результаты поиска алгоритма обучения с подкреплением, как правило, недействительны.