Эта статья была изначально создана "AI Frontline", оригинальная ссылка:Отправить колонку AI | 5 основных модулей знаний для глубокого обучения (с карточками знаний)
Автор｜Geek Time, колонка "Базовый курс искусственного интеллекта"
Редактор | Эмили
В последние годы, благодаря технологическим прорывам AlphaGo, глубокое обучение стало заслуженно популярной технологией. Можно сказать, что победа AlphaGo — это еще и победа глубокого обучения.
Глубокое обучение — это обучение, реализованное с использованием искусственных нейронных сетей, содержащих несколько скрытых слоев. Чтобы глубоко понять глубокое обучение, нам нужно начать, по крайней мере, со следующих аспектов:Сети глубокой прямой связи, регуляризация в глубоком обучении, оптимизация в глубоком обучении, автоэнкодеры и глубокое обучение с подкреплением.
глубокая сеть прямой связи
Глубокая сеть прямого распространения — это нейронная сеть прямого распространения с глубокой структурой, которую можно рассматривать как эволюционную версию многослойного персептрона. По сравнению с мелкими сетями только с одним или двумя скрытыми слоями, глубокие сети с прямой связью имеют больше скрытых слоев и, следовательно, обладают более сильными возможностями извлечения признаков.
При проектировании сетей с глубокой прямой связью определение архитектуры является первым ключевым соображением.. Архитектура определяет, сколько базовых блоков включено в сеть и как эти базовые блоки связаны друг с другом. Почти все сети с прямой связью используют цепную архитектуру, то есть выход предыдущего уровня является входом следующего уровня. В такой цепной архитектуре количество слоев и количество нейронов в каждом слое являются основными переменными сети.
Есть несколько общих проблем с глубокими сетями прямой связи, основные моменты заключаются в следующем:
Регуляризация в глубоком обучении
Регуляризация как средство подавления переобучения является незаменимым звеном в машинном и глубоком обучении и играет ключевую роль. Хороший алгоритм машинного обучения должен не только хорошо работать на тренировочном наборе, но и сохранять свою отличную производительность при обобщении на неизвестные тестовые данные. Регуляризация — это общий термин для класса стратегий, которые уменьшают ошибку обобщения за счет явного проектирования, чтобы улучшить универсальность алгоритма. Регуляризация становится особенно важной из-за большого количества параметров, задействованных в глубоком обучении.
Регуляризация определяется как модификации алгоритмов обучения, направленные на уменьшение ошибки обобщения. Вообще говоря, уменьшение ошибки обобщения происходит за счет увеличения ошибки обучения, но некоторые алгоритмы также могут достигать хороших результатов как при ошибке обобщения, так и при ошибке обучения.
Регуляризацию можно рассматривать как применение бритвы Оккама к алгоритмам обучения. Формулировка Бритвы Оккама такова: «Когда две гипотезы обладают одинаковой объяснительной и предсказательной силой, используйте более простую гипотезу в качестве основы для обсуждения».
С точки зрения теории вероятностей, многие методы регуляризации соответствуют наложению определенного априорного распределения на параметры модели, что приводит к изменению структуры ошибки обобщения. Регуляризация — это компромисс между недообучением и переоснащением, значительно снижающий дисперсию без чрезмерного увеличения систематической ошибки. Регуляризация может изменить распределение данных таким образом, чтобы распределение данных, полученное моделью, максимально соответствовало реальному процессу генерации данных.
Хотя методы регуляризации, используемые в настоящее время в глубоком обучении, можно назвать «восемь бессмертных, пересекающих море, каждый из которых демонстрирует свои магические силы», не существует общей цепочки, которая могла бы систематически описывать эти методы и в дальнейшем направлять дизайн. Поэтому, чтобы посмотреть на регуляризацию с общей точки зрения, все же необходимо «никогда не забывать об изначальном намерении» и сосредоточиться на основной цели.
Обычно используемые стратегии регуляризации делятся на следующие категории:
- Регуляризация на основе обучающих данных (данных)
- Регуляризация на основе сетевой архитектуры
- Регуляризация на основе функции ошибок
- Регуляризация на основе срока регуляризации
- Регуляризация на основе оптимизации
Оптимизация в глубоком обучении
Помимо регуляризации, оптимизация также является основной проблемой, которую необходимо решить глубокому обучению. Из-за большого количества скрытых слоев в глубокой нейронной сети очень сложно оптимизировать всю сеть в целом, что требует много времени и вычислительных мощностей. Ради эффективности и точности оптимизация глубокого обучения требует использования специализированных методов.
Ради разрешимости традиционные алгоритмы машинного обучения, как правило, тщательно выбирают функцию стоимости и условия оптимизации, чтобы преобразовать проблему, которую необходимо оптимизировать, в легко решаемую.Задача выпуклой оптимизации. Но в нейронных сетях, особенно в глубоких нейронных сетях, более общий невыпуклый случай неизбежен, что создает множество дополнительных проблем для оптимизации в глубоком обучении.
Общая идея реализации оптимизации в глубоком обучении:
автоэнкодер
Автокодировщик — это класс структур нейронной сети, которые выполняют неконтролируемые задачи обучения, целью которых является обучение повторному выражению или кодированию набора данных. Структурно автоэнкодер представляет собой глубокую нейронную сеть с прямой связью с несколькими скрытыми слоями, и его уникальной особенностью является то, что количество единиц во входном и выходном слоях равно; функционально назначение автоэнкодера не в том, чтобы предсказывать результат на основе вход, Скорее, он реконструирует вход в сеть, и именно эта функция отличает автоэнкодеры от других нейронных сетей. Поскольку графическое представление автоэнкодера напоминает реквизит диаболо, используемый в акробатике, он также получил прозвище «сеть диаболо».
Что касается принципов и характеристик автоэнкодеров в глубоком обучении, то основные моменты заключаются в следующем:
глубокое обучение с подкреплением
В десятку лучших прорывных технологий MIT Technology Review за 2017 год входит «обучение с подкреплением». Если вы вернете время назад, к битве человека и машины в го более года назад, глубокое обучение с подкреплением в то время уже проявилось в зачистке Ли Шидуо, проведенной AlphaGo. В эволюционной версии AlphaGo Zero «глубокое обучение с подкреплением» еще более блестяще. Причина, по которой AlphaGo Zero может избавиться от зависимости от человеческих шахмат, заключается в том, что она использует чистое глубокое обучение с подкреплением для сквозной игры с самим собой. , тем самым превзойдя человеческий уровень Го.
Обучение с подкреплением - это, по сути, процесс обучения интеллектуальной системы от окружающей среды к поведению. Агент улучшает свое поведение, взаимодействуя с окружающей средой. Критерием улучшения является максимизация определенной кумулятивной функции вознаграждения. В частности, обучение с подкреплением представляет собой общую основу для принятия решений, основанную на обратной связи с окружающей средой, а вознаграждения или наказания от окружающей среды получаются в соответствии с непрерывными пробами и ошибками, чтобы постоянно укреплять веру в принятие решений, направленных на получение прибыли. Он делает упор на обучение через взаимодействие с окружающей средой, что приводит к привычному поведению, которое максимизирует преимущества.
Глубокое обучение с подкреплением (глубокое обучение с подкреплением) представляет собой комбинацию глубокого обучения и обучения с подкреплением.Оно объединяет способность восприятия глубокого обучения и способность принимать решения обучения с подкреплением в одно целое и использует механизм работы глубокого обучения для достижения оптимизации. цель обучения с подкреплением Общий искусственный интеллект движется вперед. В зависимости от реализации методы глубокого обучения с подкреплением можно разделить на три категории, а именно глубокое обучение с подкреплением на основе ценностей, политик и моделей.
Что касается простых принципов и методов глубокого обучения с подкреплением, то можно резюмировать следующие пункты:
Этот контент из Geek TimeКолонка «Базовый курс искусственного интеллекта».
Сегодня я отправлю эту колонку всем в подарок к Новому году.5Бесплатные места.
Как принять участие в акции: рассказать о своих взглядах на искусственный интеллект в сообщении,Мы выберем 3 избранных комментария и 2 наиболее понравившихся комментария., код чтения колонки дается в подарок, который используется для покупки колонки бесплатно.
Крайний срок для сообщения:12 февраля в 20:00.
Каталог рубрик «Базовый курс искусственного интеллекта»
Колонка онлайнПриложение «Время гиков», читатели могут отсканировать изображение QR-кода ниже, чтобы получить колонку с бесплатным пробным чтением.
t.cn/R8MVmTL(автоматическое распознавание QR-кода)
Отсканируйте код, чтобы получить бесплатную пробную колонку для чтения.
Для большего содержания сухих товаров вы можете обратить внимание на AI Frontline, ID:ai-front, фоновый ответ "AI", "TF", "Большие данные«Вы можете получить серию мини-книг в формате PDF и карт навыков «AI Frontline».