Приглашаем вас ознакомиться с компьютерным видением серии статей — Inception V4.

Всегда в дороге, то бегая, то идя.

предисловие

бумага:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

CNN сильны, как, например, наш Inception; недавние реснеты тоже сильны. А как насчет объединения сил??

1. Скорость: остаточное обучение может ускорить начальную конвергенцию;
2. С точки зрения точности: остаточное обучение приносит лишь небольшое улучшение;
3. предлагать новые модели;
4. Предложите трюк с масштабированием значения активации для обучения модели;
5. Достигнутый SOTA (State Of The Art) в конкурсе ILSVRC 2015 года, его производительность аналогична сети Inception-v3 последнего поколения;
6. Используя ансамбль из трех остатков и одного Inception-v4, достигается ошибка топ-5 в 3,08 % в тестовом наборе задачи классификации ImageNet (CLS).

Остаточная начальная сеть превосходит ту же начальную сеть без остаточных соединений.

Обзор Res Net

Основная идея состоит в том, чтобы объединить остаточную и начальную структуры для получения преимуществ остаточной.

Бумажные детали

Поскольку начальные сети имеют тенденцию быть очень глубокими, этап каскада фильтров начальной архитектуры заменяется остаточными соединениями.

Основные моменты сети ResNet:

• Сверхъестественная сетевая структура (прорыв 1000 слоев);
• Предложите остаточный модуль;
• Использовать пакетную нормализацию для ускорения обучения (отбросить Dropout);

Таким образом, Inception получает все преимущества остаточных методов, сохраняя при этом свою вычислительную эффективность.

Приглашаем вас ознакомиться с компьютерным видением серии статей -- GoogLeNet

Приглашаем вас ознакомиться с компьютерным видением серии статей — Inception v2/BN-Inception.

Приглашаем вас ознакомиться с компьютерным видением серии статей — GoogLeNet V3

Параметры и вычислительная сложность модели ограничивали производительность Inception V3. И Inception V4 имеет более унифицированную упрощенную архитектуру и больше модулей Inception, чем Inception V3.

Inception V4 и Inception-ResNet V2 работают одинаково, превосходя современную производительность одиночного кадра в проверочном наборе ImageNet.

Представляем остаточный модуль.

Остаточные соединения для разрешения.

v4 имеет ряд изящных оптимизаций для v3.

Структура Inception легко настраивается, то есть смена некоторых фитлеров не повлияет на конечный результат. Но автор тщательно отрегулировал размер каждого слоя, чтобы оптимизировать скорость обучения. Теперь из-за функции оптимизации тензорного потока автор считает, что больше нет необходимости тщательно настраивать каждый слой на основе опыта, как раньше, и теперь параметры каждого слоя можно задавать более стандартизированно. И предложенная Inception-V4 структура сети выглядит следующим образом:

Режим Stem для чистых сетей Inception-v4 и Inception-ResNet-v2. Это входная часть этих сетей.

Конкретный блок Inception V4 выглядит следующим образом:

Паттерны для модулей сетки 35×35 чистой сети Inception-v4. Это блок Inception-A в сетевой структуре Inception-V4.

Схема модуля сетки 17×17 чистой сети Inception-v4. Это блок Inception-B в структуре сети Inception-V4.

Шаблон модуля сетки 8×8 для чистой сети Inception-v4. Это блок Inception-C в сетевой структуре Inception-V4.

Режимы для модулей уменьшения от 35x35 до 17x17.

Шаблоны для модулей уменьшения сетки от 17 × 17 до 8 × 8. Это модуль сокращения, используемый чистой сетью Inception-v4 в сетевой структуре Inception-V4.

Шаблон сетки 35×35 (Inception-ResNet-A) модуля сети Inception-ResNet-v1.

Режим модуля сетки 17×17 (Inception-ResNet-B) сети Inception-ResNet-v1.

Этот модуль, используемый меньшей сетью Inception-ResNet-v1, представляет собой модуль сокращения сетки «Reduction-B» от 17 × 17 до 8 × 8.

Схема модуля сетки 8×8 (Inception-ResNet-C) сети Inception-ResNet-v1.

Основа сети Inception-ResNet-v1.

Архитектура сетей Inception-ResNet-v1 и Inception-ResNet-v2. Эта архитектура работает для обеих сетей, но базовые компоненты различны.

Конкретный блок Inception-ResNet-v2 выглядит следующим образом:

Схема модуля 35×35grid (Inception-ResNet-A) сети Inception-ResNet-v2.

Шаблон модуля 17×17grid (Inception-ResNet-B) сети Inception-ResNet-v2.

Режим восстановления сетки от 17×17 до 8×8 для модулей. Модуль Reduction-B, используемый более широкой сетью Inception-ResNet-v1 на рисунке.

Режим модуля 8 × 8 GRID (MELCEPTION-RESNET-C) MODULE MESPECTION-RESNET-V2.

Общая структура Inception-V4 и Inception-Resnet-V2 аналогична: оба они представляют собой основу плюс повторяющиеся блоки Inception или Inception-Resnet, а затем соединяются с сокращением, а затем повторяют эту структуру несколько раз.

Количество фильтров в модуле Reduction-A для трех вариантов Inception.

K означает 1✖️1 Conv, l означает 3✖️3 Conv, m означает 3✖️3 Conv шаг равен 2, n означает 3✖️3 Conv шаг равен 2.

При наличии более 1000 ядер свертки появляются «мертвые» нейроны. В итоге средний. Перед слоем пула будет явление, когда выходное значение равно 0. Решение состоит в том, чтобы либо уменьшить скорость обучения, либо добавить к этим слоям дополнительную нормализацию пакетов.

Если оставшуюся часть масштабировать, а затем добавить к слоям, которые необходимо добавить, сеть будет более стабильной во время обучения. Таким образом, блок масштабирования просто масштабирует окончательную линейную активацию на подходящую константу, обычно около 0,1, и использует этот коэффициент масштабирования для масштабирования остаточной сети перед выполнением добавления. Масштабирование перед суммированием стабилизирует обучение. Коэффициент масштабирования находится в пределах 0,1-0,3.

Подобная нестабильность также решается в реснете с помощью прогрева, предложенного реснетом. Когда ядер свертки много, небольшая скорость обучения (0,00001) не делает обучение стабильным.

масштабировать не надо! Чтобы найти определенный сценарий приложения, который делает масштабирование обязательным, это направление исследований.

эксперимент

Ошибка TOP-1 при обучении Inception-v3 по сравнению с остаточным Inception с аналогичными вычислительными затратами. Оценка выполняется на одном кадре изображений, не занесенных в черный список, из проверочного набора ILSVRC-2012.Остаточная версия намного быстрее обучается и имеет немного более высокую конечную точность, чем традиционная версия Inception-v4..

Экспериментальные результаты модели «Одна культура — одиночная». Сообщается о не занесенном в черный список подмножестве проверочного набора ILSVRC2012.

Видно, что разница между Inception-V4 и Inception-ResNet-V2 невелика, но оба намного лучше, чем Inception-V3 и Inception-ResNet-V1.

Суммировать

1. Inception-ResNet-v1: смешанная версия Inception
2. Inception-ResNet-v2: более дорогая версия Hybrid Inception со значительно улучшенными возможностями распознавания.
3. Inception-V4: Чистый вариант Inception, без остаточных соединений, с примерно такой же способностью распознавания, как Inception-ResNet-v2.

В основном он изучает, как использовать остаточное обучение для повышения начальной скорости обучения (близко к теме, остаточное обучение может только ускорить обучение, оно бесполезно для повышения точности). Кроме того, наша последняя модель (с остаточными соединениями и без них) превосходит все наши предыдущие сети просто из-за увеличенного размера модели.