Минималистское эссе Сеть глубокой остаточной усадки (Сеть глубокой остаточной усадки)

глубокое обучение

Эта статья представляет собой минималистскую интерпретацию сети глубокого остаточного сжатия, которая требует от читателей базовых знаний о глубокой остаточной сети (Deep Residual Network, ResNet) и сети сжатия и возбуждения (SENet).

Deep Residual Shrinkage Network, английское название Deep Residual Shrinkage Network, является новым усовершенствованием ResNet или SENet.Она была опубликована в журнале IEEE Transactions on Industrial Informatics in Region 1 и ориентирована на проблемы классификации в случае сильного шума. 

Сначала на рисунке показан остаточный модуль ResNet:


Затем, по сравнению с ResNet, остаточный модуль SENet имеет небольшое улучшение:


Что наиболее важно, остаточный модуль в сети глубокой остаточной усадки заменяет «взвешивание» в SENet на «мягкую пороговую обработку»:


Наконец, общая структура сети глубокой остаточной усадки показана на следующем рисунке:



M. Zhao, S. Zhong, X. Fu, et al., Deep Residual Shrinkage Networks for Fault Diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898 https://ieeexplore.ieee.org/document/8850096