inceptionv1

преимущество: 1*1 сверточная функция ядра

inceptionv2

два 33 ядра свертки = 55 три 33=77, а количество параметров равно 233cn<55cн, 333cn<77cn

inceptionv3

3х3 разлагается на (1х3, 3х1), преимущества: для ускорения расчета, и может разбить 1 сверток на 2 свертки, что еще больше увеличивает глубину сети и увеличивает нелинейность сети (требуется ReLU для каждого дополнительного слоя ).

resnet

Можно считать, что первоначальное намерение остаточного обучения состояло в том, чтобы сделать внутреннюю структуру модели, по крайней мере, способной отображать идентичность. Для того, чтобы гарантировать, что в процессе стекирования сеть, по крайней мере, не выродится из-за продолжающегося стекирования.Если предположить, что относительно неглубокая сеть может достичь хороших результатов, то даже если сеть, сложенная позже, ничего не делает, эффект модели не будет.будет хуже.

Существующим нейронным сетям трудно соответствовать базовой функции отображения идентичности H (x) = x. Но если сеть спроектирована как H(x) = F(x) + x, карта идентичности используется непосредственно как часть сети. Задача может быть преобразована в изучение функции невязки F (x) = H (x) - x, Пока F (x) = 0, формируется тождественное отображение H (x) = x. Кроме того, подгонка остатков, по крайней мере, намного проще, чем подгонка карт идентичности.
Блок должен содержать как минимум два слоя, иначе он будет напрямую обучать w1 до 0.
Структура: используя идею vgg, через каждые x слоев пространство увеличивается на 2 (понижающая выборка), но глубина удваивается. Другими словами, несоответствие размеров отражается на двух уровнях: несоответствие в пространстве (просто понижение дискретизации), несоответствие по глубине (широта свертки 1 * 1).

Добавление пропускных соединений может реализовать комбинацию признаков разного разрешения, потому что мелкие слои легко имеют высокое разрешение, но низкоуровневые семантические признаки, в то время как глубокие признаки имеют высокоуровневую семантику, но разрешение очень низкое.
выполнить