В этой статье будет представлена технология, которая добилась большого успеха и лежит в основе третьей волны нейронных сетей с 2006 года по настоящее время ——Сверточная нейронная сеть, сверточная нейронная сеть (CNN).
Борьба за славу
В 2012 году компания AlexNet прославилась в ImageNet и взорвала революцию в области глубокого обучения. Это исторический момент. Истории в нем, рекомендую Лео ЧжуТридцать лет инноваций в области глубокого обучения, сказано очень замечательно, и нижеприведенные цитаты являются выдержками из фрагментов.
Знаковым событием стало то, что в конце 2012 года докторанты Джеффа Хинтона Алексей Крижевский и Илья Суцкевер (давно не занимавшиеся глубоким обучением) заняли первое место в конкурсе по классификации изображений ImageNet. На самом деле, каждый год проводится много подобных соревнований, но важно то, что команда Google также тестировала этот набор данных (непубличный, Google не принимал явного участия в «конкурсе» в академических кругах), используя глубокое обучение, но Точность распознавания выше, чем у команды Джеффа Хинтона, была намного хуже, и индустрия обрадовалась.
Как вы можете видеть на графике выше, удивительной особенностью AlexNet в 2012 году было то, что он был почти на 10 процентных пунктов ниже, чем уровень ошибок чемпиона предыдущего года, составлявший 25,8%. Именно этот беспрецедентный прогресс заставляет людей проникать сквозь туман и видеть будущее.
Но что более интересно (поучительно и о чем стоит задуматься), так это то, что в конкурентах Алекса Крижевского и Джеффа Хинтона используется сверточная нейронная сеть, изобретенная Яном Лекуном, но когда появились первые результаты (детали реализации не были объявлены), Янн Лекун И сотрудники его лаборатории Нью-Йоркского университета не смогли даже воспроизвести результаты Джеффа Хинтона. Алгоритм, придуманный вами, не так хорош, как у другой группы. На этот раз Янн Лекун провел групповое собрание, и темой размышлений стало «почему мы не получили таких результатов за последние два года».
Темная лошадка AlexNet не является «новой», как упоминалось в приведенном выше отрывке, она фактически родилась из сверточной нейронной сети LeNet-5, предложенной Лекуном в 1998 году, 14 лет назад, с очень небольшими изменениями:
- Используйте ReLU вместо сигмовидных нейронов;
- более глубокая сеть;
- Объем обучающих данных больше;
- Использование обучения GPU;
Первые два пункта связаны с сетевой архитектурой, хотя применение ReLU внесло большой вклад, они не являются существенными изменениями во всей структуре алгоритма. Последние два пункта могут быть более фундаментальными, благодаряБольшие данныеиЗакон Мура, AlexNet получает вычислительную мощность, необходимую для обучения сети на большем количестве данных.
Однако LeNet-5 был явно не столь перспективен, как другие алгоритмы машинного обучения (метод ядра, графовая модель, SVM и т. д.) в условиях данных и вычислительных мощностей того времени, и был признан после заморозки более чем на десять лет. годы.
Неврологические последствия
Подобно тому, как в 1940-х и 1950-х годах, вдохновленные открытиями нейронауки, люди конструировали искусственные нейроны, в 1959 году Хьюбел и Визель открыли механизм зрительной коры млекопитающих, благодаря которому люди снова были одарены создателем — сверточной нейронной сетью. , Это одно из самых успешных приложений.
Хьюбел и Визель, доктора нейрофизиологии Гарвардского университета, наблюдалиКак один нейрон в кошачьем мозгу воспроизводит изображения на экране, они обнаружили, что нейроны в передней области зрительной системы сильно реагировали на определенные световые паттерны, но вообще не реагировали на другие паттерны.Эта часть называется первичной зрительной корой, Primary Visual Cortex, также известной как V1. За это новаторское исследование в 1981 году они были удостоены Нобелевской премии по физиологии и медицине.
Открытие V1 открывает дальнейшее понимание зрительной системы человеческого мозга, как показано на рисунке, приведенном в начале этой статьи, когда глаз смотрит на внешний объект, информация поступает от сетчатки к V1, а затем к V2. (Вторичная зрительная кора), V4, затем IT (нижняя височная извилина, нижняя височная извилина). Зрительная система млекопитающих иерархична, и каждый уровень имеет дело с понятиями более высокого уровня, чем предыдущий:
- V1: определение края;
- V2: извлечение простых визуальных элементов (направление, пространство, частота, цвет и т. д.)
- V4: следить за характеристиками объекта;
- ТИ: распознавание объектов;
Сверточная нейронная сеть разработана в соответствии с 3 свойствами V1:
- Пространственное отображение: в соответствии с характеристиками пространственного отображения V1 каждый слой в сверточной нейронной сети основан на двумерной пространственной структуре (за исключением полностью связанного слоя в конце);
- Простые клетки: в V1 есть много простых клеток, которые имеют локальные рецептивные поля, и ядра свертки в сверточной сети спроектированы соответствующим образом;
- Сложные ячейки: в V1 есть много сложных ячеек, которые реагируют на особенности, обнаруженные простыми ячейками, и инвариантны к небольшим смещениям, что вдохновило объединение ячеек в сверточные сети;
Визуальная область после V1 на самом деле имеет тот же принцип, что и V1, и стратегия обнаружения признаков и объединения выполняется многократно. Точно так же дизайн сверточной сетевой архитектуры также представляет собой повторяющееся наложение сверточного слоя и слоя объединения для формирования уровня глубины. Пионерская современная сверточная сеть LeNet-5, архитектура которой показана на следующем рисунке:
Окольная история
Сверточные нейронные сети не были изобретены в одночасье. Если мы проследим до AlexNet в 2012 году, необходимо больше исторических моментов. Даже самые ранние сверточные нейронные сети появились в 20-м веке в ходе экспериментов Хьюбела и Визеля. Годы спустя. Несмотря на свое откровение, нейробиология не говорит нам, как обучать сверточные сети:
- В 1980 году японский ученый Фукусима построил сверточную нейронную сеть, но алгоритм обратного распространения в то время не был готов;
- В 1986 году Хинтон успешно применил алгоритм обратного распространения ошибки для обучения нейронных сетей;
- В 1989 году ЛеКун начал обучать двумерные сверточные сети на основе алгоритма обратного распространения ошибки;
- В 1998 году ЛеКун предложил первую формальную свёрточную нейронную сеть LeNet-5;
Вот как история движется окольными путями, начинаясь как независимые, случайные притоки, которые в конечном итоге сходятся, создавая революционные моменты с течением времени.
Соглашение о совместном использовании:Атрибуция — Некоммерческое использование — Без производных (CC BY-NC-ND 3.0 CN)
Для перепечатки указать:Автор: Дядя Черная Обезьяна