Серия облегченных моделей -- GhostNet: дешевые операции дают больше возможностей

предисловие

Развертывание сверточных нейронных сетей (CNN) на встроенных устройствах затруднено из-за ограниченности памяти и вычислительных ресурсов. Избыточность в картах функций — важная особенность этих успешных CNN, но редко изучается при проектировании нейронной архитектуры.

В документе предлагается новый модуль Ghost для создания большего количества карт объектов из дешевых операций. Предлагаемый модуль Ghost можно использовать в качестве компонента plug-and-play для обновления существующих сверточных нейронных сетей. Стекирование модулей Ghost позволяет создать облегченную сеть GhostNet.

GhostNet может достичь более высокой производительности распознавания, чем MobileNetV3 (например, 75,7% точности первого уровня), и имеет аналогичные вычислительные затраты на ImageNet ILSVRC-2012.

Бумага: GhostNet: больше возможностей от дешевых операций

Код:GitHub.com/Huawei-Ноа….

Добро пожаловать в техническое руководство CV для общедоступной учетной записи, в котором основное внимание уделяется техническому обзору компьютерного зрения, отслеживанию новейших технологий и интерпретации классических статей.

Точка отправления

За эти годы были предложены серия методов для изучения компактной глубины нейронной сети, такие как сетевая скремблирование, низкая квантование, дистилляция знаний и тому подобное. Вес Network Twig Tracking Neural Network используется для обрезки фильтра для эффективного CNN; низкая квантование количественно определяется до 1-битных данных для достижения большого соотношения сжатия и ускорения; знания ректирования знаний ребра переносится с большей модели на меньшую модель Отказ

Однако производительность этих методов часто ограничена предварительно обученными нейронными сетями в качестве базовых показателей.

Богатая и даже избыточная информация в картах признаков обученной глубокой нейронной сети обычно гарантирует всестороннее понимание входных данных. Например, на рисунке выше показаны некоторые карты объектов входного изображения, сгенерированного ResNet-50, и есть много похожих пар карт объектов, похожих друг на друга. Избыточность карт признаков может быть важной особенностью успешных глубоких нейронных сетей. Мы склонны принимать их вместо того, чтобы избегать избыточных карт функций, но экономически эффективным способом.

Вот дополнительное предложение: В обученной сети нормального размера существует большое количество избыточных карт признаков. Сокращение модели (или сжатие модели) и регуляризация — это способы уменьшить избыточные карты признаков, и в этой статье рассматриваются эти избыточные карты признаков. может быть важным для правильной идентификации или обнаружения.

Рекомендуемое чтениеДействительно ли нам нужно сжатие модели?", чтобы лучше понять приведенный выше абзац.

основной вклад

Представлен новый модуль Ghost для создания большего количества функций с использованием меньшего количества параметров.В частности, обычный сверточный слой в глубокой нейронной сети делится на две части. В первой части используются обычные свертки, но их общее количество будет жестко контролироваться. Учитывая внутреннюю карту объектов первой части, затем применяется ряд простых линейных операций для создания дополнительных карт объектов. Без изменения размера выходных карт объектов общее количество параметров и вычислительная сложность, необходимые для этого модуля Ghost, уменьшаются по сравнению с обычными свёрточными нейронными сетями.

На основе модуля Ghost создается эффективная нейронная архитектура GhostNet.Сначала мы заменяем исходные сверточные слои в эталонных нейронных архитектурах, чтобы продемонстрировать эффективность модуля Ghost, а затем проверяем превосходство GhostNets на нескольких наборах данных эталонного зрения.

Экспериментальные результаты показывают, что предлагаемый модуль Ghost способен снизить вычислительные затраты на общие сверточные слои при сохранении аналогичной производительности распознавания, а GhostNets может превзойти эффективные глубокие модели SOTA в различных задачах, таких как MobileNetV3 для быстрого логического вывода на мобильных устройствах.

Methods

Ghost module

Как показано на рисунке выше, модуль Ghost сначала уменьшает количество входных каналов посредством обычной свертки, а затем проходит глубинную свертку и идентичность (преобразование идентичности).

1. Предыдущая свертка может использовать либо свертку 1x1, либо обычную свертку 3x3 или 5x5.

2. Φ здесь дешевая операция, которая может быть как глубинной сверткой, так и другими свертками, например групповой сверткой. Роль этой части заключается в создании подобных карт объектов. Другими словами, избыточная информация сохраняется менее затратным способом.

3. Карта идентичности распараллеливается с линейным преобразованием в модуле Ghost, чтобы сохранить внутреннюю карту признаков.

Анализ сложности

Предположим, что размер нашей входной карты объектов равен h*w*c, размер выходной карты объектов равен h'*w'*n, а размер ядра свертки равен k*k.

При преобразовании дешевой операции мы предполагаем, что канал карты объектов равен m, количество преобразований равно s, а количество окончательно полученных новых карт объектов равно n, тогда мы можем получить уравнение:

п = м*с

Поскольку в конце процесса преобразования Призрака происходит преобразование идентичности (Identity), фактическое эффективное число преобразования равно s-1, поэтому приведенную выше формулу можно получить следующим образом:

м * ( s - 1 ) знак равно п / s * ( s - 1 )

Таким образом, теоретическое соотношение скоростей равно:

Теоретическая степень сжатия:

Среди них s намного меньше c.

GhostNet

Conclusion

Эта статья взята из серии публикаций в Техническом руководстве CV для общедоступных аккаунтов.

Ответьте на ключевое слово «техническое резюме» в официальном аккаунте, чтобы получить краткий PDF-файл исходной технической сводной статьи официального аккаунта.