На основе исследования адаптивных сетей в статье предлагается адаптивная сеть RANet (сеть с адаптивной адаптацией к разрешению) для поиска компромисса между эффектами и производительностью.Сеть содержит несколько подсетей с разным входным разрешением и глубиной, а также анализ сложных и простых примеров Будут автоматически использоваться различные суммы вычислений, а функции между подсетями будут объединены.Из экспериментальных результатов следует, что был достигнут очень хороший компромисс между производительностью и скоростью.

Источник: Заметки по разработке алгоритмов Xiaofei Public Account.

Диссертация: Разрешение адаптивных сетей для эффективного вывода

Адрес бумаги:АР Вест V.org/ABS/2003.07…
Код диссертации:GitHub.com/like 15/ra…

Introduction

Глубокая CNN обеспечивает как повышение производительности, так и высокую вычислительную нагрузку.Многие исследования сосредоточены на том, как ускорить сеть.Более прямым является адаптивная сеть, которая автоматически настраивается в соответствии со сложностью выборки. На основе исследования адаптивных сетей в документе предлагается адаптивная сеть RANet (сеть с адаптивной адаптацией к разрешению). Идея показана на рисунке 1. Сеть содержит несколько подсетей с разным входным разрешением и глубиной. Образцы сначала идентифицируются из наименьшей подсети. ., если результат удовлетворяет условиям, выйти, в противном случае продолжать использовать для идентификации подсеть большего размера, характеристики подсети не уникальны, и подсеть следующего уровня будет интегрировать характеристики подсети предыдущего уровня. с экспериментальной точки зрения, статья. Был достигнут очень хороший компромисс между эффектом и производительностью.

Method

Adaptive Inference Setting

Создайте адаптивную модель с классификаторами K для входного изображения., первоеВыход каждого классификатора такой же, как в уравнении 1, $\theta_k$ — параметр подсети, соответствующий классификатору, а некоторые параметры являются общими для классификаторов. $p_c^k\in [0, 1]$ заКатегория уверенности.

Адаптивная сеть динамически выбирает соответствующую ветвь вычислений в соответствии со сложностью изображения, то есть, если выходные данные текущего классификатора достигают ожидаемого, он выйдет.Бумага использует достоверность вывода softmax для суждения, как показано на Уравнение 2 и Уравнение 3

Overall Architecture

Общая структура RANet показана на рис. 2, включая начальный уровень иКаждая подсеть содержит несколько классификаторов. Конкретный процесс сначала использует начальный слой для получения карт объектов с различным разрешением, а затем использует подсеть с наименьшим разрешением для прогнозирования.Если подсеть не дает надежных результатов, используйте следующую подсеть с немного большим разрешением для прогнозирования и повторяйте, пока не получите надежные результаты или не достигнете подсети с максимальным разрешением.
В процессе повторного итеративного прогнозирования слой с высоким разрешением будет объединять функции слоя с низким разрешением. Хотя RANet уже обработала изображение от мелкозернистого до крупнозернистого на начальном уровне, подсеть продолжает уменьшать его до тех пор, пока размер карты объектов не будет s=1 масштаб (представляющий минимальное разрешение, созданное начальным слоем), классификатор добавляется только к последним нескольким размерам карты объектов. s=1 на блоке весов.

Network Details

Initial Layer

Исходный слой используется для созданияосновные функции, особенностиразмер, начальный слой на рис. 2 содержит три объекта разного размера, первый объект генерируется слоем Regular-Conv, а последние объекты генерируются слоем Strided-Conv.

Sub-networks with Different Scales

Подсеть 1 обрабатывает карту объектов с самым низким разрешением. $x_0^{1,1}$ , используя рисунок 3(а)Слой обычных Dense Blocks, выход каждого слоя $x_i^{1,1}$ будет передано в подсеть 2
Размер вводаПодсеть весов( h>1 ) обрабатывает базовую функцию $x^{s,h}$ , и используйте Fusion Blocks на рис. 3(b,c) для объединения из подсети ( h-1 ) признаков, включая два типа, один из которых представляет собой тип сохранения размера карты признаков на рисунке 3b, а другой — тип уменьшения размера карты признаков на рисунке 3c. Для апсэмплинга низкоразмерных объектов используется Up-Conv (Regular-Conv+Bilinear интерполяция) или Regular-Conv в зависимости от размера текущего объекта, а передние и задние объекты также соединяются.Конкретные структурные детали показано на рисунке 3.
Для ввода какПодсеть весовустанавливается следующим образом. Предположим,Подсеть содержит b_h блоки, блок 1 в блок $b_{h-1}(b_{h-1} < b_{h})$ Для Fusion Block функции имеют субдискретизацию.раз, чтобы убедиться, что выходная карта объектов s=1 Шкала засекречена, а остальные блоки являются обычными плотными блоками.

Transition layer

RANet также использует плотный переходный уровень DeseNet, в частности $1\times 1$ Свертка+BN+ReLU, которая для простоты не отражена на рисунке 2.

Classifiers and loss function

Классификатор добавляется к последним нескольким блокам каждой подсети. На этапе обучения образцы будут переданы во все подсети по порядку. Окончательная потеря представляет собой взвешенное накопление перекрестной энтропийной потери, рассчитанной каждым классификатором. Конкретная логика и вес такие же, как у MSDNet.

Resolution and Depth Adaptation

Общая структура RANet очень похожа на MSDNet. В статье проводится сравнение. Классификатор MSDNet размещается на пути с наименьшим разрешением. Если промежуточный классификатор не дает ожидаемых результатов, будет выполнено следующее полноразмерное прогнозирование вывода. . . . RANet, с другой стороны, постепенно использует разные подсети для прогнозирования логических выводов от малого размера к большему, что может лучше адаптивно сочетать глубину и разрешение.

Experiments

Anytime Prediction

Ограничьте вычислительные FLOP одного графа и напрямую записывайте производительность всех классификаторов в адаптивной сети и их вычисления для сравнения.

Budgeted Batch Classification

Чтобы ограничить общий объем ресурсов пакета изображений, необходимо установить порог в соответствии с общим объемом ресурсов для контроля раннего выхода из рассуждений, записи производительности адаптивной сети и соответствующего лимита ресурсов

Visualization and Discussion

На рисунке 7 показаны некоторые образцы, распознанные RANet, легкие — это образцы, которые могут быть распознаны классификатором на предыдущем этапе, сложные — это образцы, которые не удалось распознать на предыдущем этапе, но могут быть успешно распознаны на более позднем этапе. основные проблемы - многоцелевые, мелкие цели и Объекты с неразличимыми межклассовыми характеристиками

Conclusion

На основе исследования адаптивных сетей в статье предлагается адаптивная сеть RANet (сеть с адаптивной адаптацией к разрешению) для поиска компромисса между эффектами и производительностью.Сеть содержит несколько подсетей с разным входным разрешением и глубиной, а также анализ сложных и простых примеров Будут автоматически использоваться различные суммы вычислений, а функции между подсетями будут объединены.Из экспериментальных результатов следует, что был достигнут очень хороший компромисс между производительностью и скоростью.

Справочное содержание

MSD: Multi-Self-Distillation Learning via Multi-classifiers within Deep Neural Networks - АР Вест V.org/ABS/1911.09…

Если эта статья была вам полезна, ставьте лайк или смотрите~
Для получения дополнительной информации, пожалуйста, обратите внимание на общедоступную учетную запись WeChat [Примечания по разработке алгоритмов Xiaofei].