В последние годы появилось большое количество выдающихся достижений в области искусственного интеллекта. В этой статье основное внимание уделяется новому методу глубокого обучения, то есть сети глубокой остаточной усадки, и проводится подробная интерпретация, надеющаяся помочь всем.
Как следует из названия, сеть глубокой остаточной усадки представляет собой усовершенствованный алгоритм, основанный на «остаточной сети», который состоит из двух частей: «остаточной сети» и «усадки». Среди них остаточная сеть выиграла конкурс распознавания изображений ImageNet в 2016 году и теперь стала базовой сетью в области глубокого обучения; усадка — это мягкое определение порога, которое является основным шагом многих методов уменьшения шума сигнала; в глубокой остаточной сеть сжатия, порог, необходимый для мягкого порога, по существу устанавливается с помощью механизма внимания.
В этой статье мы сначала представляем краткий обзор основ остаточных сетей, мягкой пороговой обработки и механизмов внимания, после чего следует интерпретация мотивов, алгоритмов и приложений глубоких остаточных сетей сокращения.
1. Базовый обзор
1.1 Остаточная сеть
По сути, остаточная сеть (также известная как глубокая остаточная сеть, глубокое остаточное обучение) — это тип сверточной нейронной сети. По сравнению с обычной сверточной нейронной сетью остаточная сеть использует межуровневое идентификационное соединение, чтобы уменьшить сложность обучения сверточной нейронной сети. Базовый модуль остаточной сети показан на рисунке 1.
1.2 Мягкий порог
Мягкая пороговая обработка является центральным этапом многих методов шумоподавления сигнала. Его цель состоит в том, чтобы установить признаки, абсолютное значение которых ниже определенного порога, в ноль, а другие признаки скорректировать в сторону нуля, то есть сжатие. Здесь порог — это параметр, который необходимо предварительно установить, и его значение напрямую влияет на результат шумоподавления. Взаимосвязь между входом и выходом с мягким порогом показана на рисунке 2.
Как видно из рисунка 2, мягкое определение порога представляет собой нелинейное преобразование со свойствами, очень похожими на функцию активации ReLU: градиент равен либо 0, либо 1. Следовательно, мягкую пороговую обработку также можно использовать в качестве функции активации нейронной сети. Фактически, некоторые нейронные сети уже используют мягкую пороговую обработку в качестве функции активации.
1.3 Механизм внимания
Механизм внимания — это механизм, который сосредотачивает внимание на локальной ключевой информации.Его можно разделить на два этапа: во-первых, сканирование глобальной информации для обнаружения локальной полезной информации, во-вторых, расширение полезной информации и подавление избыточной информации.
Сеть сжатия и возбуждения — это метод глубокого обучения с очень классическим механизмом внимания. Он может автоматически изучать набор весов через небольшую подсеть для взвешивания каждого канала карты объектов. Подразумевается, что некоторые функциональные каналы более важны, в то время как другие функциональные каналы избыточны в информации; таким образом, мы можем улучшить полезные функциональные каналы и ослабить избыточные функциональные каналы. Базовый модуль сети сжатия и возбуждения показан на рисунке ниже.
Стоит отметить, что таким образом каждая выборка может иметь свой собственный уникальный набор весов, а уникальные корректировки взвешивания функциональных каналов могут выполняться в соответствии с характеристиками самой выборки. Например, первый канал признаков выборки А важен, а второй канал признаков неважен; в то время как первый канал признаков выборки В неважен, а второй канал признаков важен; таким образом, образец А может иметь свой собственный набор весов для усиления первого функционального канала и ослабления второго функционального канала; аналогично выборка B может иметь свой собственный набор весов для ослабления первого функционального канала и усиления второго функционального канала.
2. Теория сетей глубокого остаточного сокращения
2.1 Мотивация
Во-первых, данные в реальном мире содержат более или менее избыточную информацию. Затем мы можем попытаться внедрить мягкую пороговую обработку в остаточную сеть, чтобы устранить избыточную информацию.
Во-вторых, содержание избыточной информации часто варьируется в зависимости от выборки. Затем мы можем использовать механизм внимания, чтобы адаптивно устанавливать разные пороги для каждой выборки в зависимости от ситуации с каждой выборкой.
2.2 Алгоритмы
Подобно остаточной сети и сети сжатия и возбуждения, сеть глубокого остаточного сжатия также состоит из множества базовых модулей, сложенных друг с другом. Каждый базовый модуль имеет подсеть для автоматического обучения для получения набора пороговых значений для мягкого определения пороговых значений карт объектов. Стоит отметить, что таким образом каждый образец имеет свой собственный уникальный набор порогов. Базовый модуль сети глубокой остаточной усадки показан на рисунке ниже.
Общая структура сети глубокой остаточной усадки показана на рисунке ниже и состоит из входного слоя, множества базовых модулей и конечного полностью связанного выходного слоя.
2.3 Применение
В статье сети глубокой остаточной усадки применяются для диагностики неисправностей вращающихся механизмов по сигналам вибрации. Но в принципе сеть глубокой остаточной усадки ориентирована на ситуацию, когда набор данных содержит избыточную информацию, а избыточная информация встречается повсеместно. Например, при распознавании изображений изображение всегда содержит какие-то области, не связанные с метками, при распознавании речи звук часто содержит различные формы шума. Таким образом, сеть глубокой остаточной усадки или идея «глубокого обучения» + «мягкого порога» + «механизма внимания» имеет широкий спектр исследовательской ценности и перспектив применения.
использованная литература:
[1] K. He, X. Zhang, S. Ren, et al. Deep residual learning for image recognition. IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.
[2] K. He, X. Zhang, S. Ren, et al. Identity mappings in deep residual networks. European Conference on Computer Vision, 2016: 630-645.
[3] J. Hu, L. Shen, G. Sun. Squeeze-and-excitation networks. IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.
[4] D.L. Donoho. De-noising by soft-thresholding. IEEE Transactions on Information Theory, 1995, 41(3): 613-627.
[5] K. Isogawa K, T. Ida, T. Shiodera, et al. Deep shrinkage convolutional neural network for adaptive noise reduction. IEEE Signal Processing Letters, 2017, 25(2): 224-228.
[6] M. Zhao, S, Zhong, X. Fu, et al. Deep residual shrinkage networks for fault diagnosis. IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898