Заметки по глубокому обучению (1) [открытие]

предисловие

Концепция «глубокого обучения» зародилась в 2006 году, постепенно возникала после 2010 года и достигла своего пика в 2015 и 2016 годах, особенно в 2016 году. Я чувствую, что различные ИТ-сайты, официальные аккаунты отрасли, Weibo и т. обучения» «В этом семестре количество работ резко возросло, а помпезность небывалая. До сих пор, в первой половине 2017 года, импульс не ослабевает.Одно за другим проводится множество встреч, семинаров, обменов и сессий обмена, и толпа полна людей.Лидеры отрасли с нетерпением ждут будущего , планируя будущее или молча проводя передовые исследования.
Впервые я столкнулся с глубоким обучением, когда участвовал в соревновании по НЛП в прошлом году и попробовал метод глубокого обучения. "Обучение", я хотел проглотить его и прочитать его одну за другой. Первые несколько глав были хороши, но было бы немного сложнее добраться до конца. Я воспользовался этой возможностью, чтобы поделиться своим опытом чтения и призвать себе продолжать доделывать.

умная машина

Люди всегда мечтали создать машины, которые могут думать. Однако только в наше время изобретение компьютера сделало эту мечту огромным шагом вперед. Сегодня искусственный интеллект (Artificial Intelligence) возник из дисциплины «Дартмутской конференции» летом 1956 года, после того как IBM DeepBlue победила шахматного мастера Каспарова в 1997 году, а затем в марте 2016 года AlphaGo победила Ли Седоля, недавнему Мастеру, стать одной из самых бурно развивающихся областей. В это время мы снова задаем себе этот вопрос: «Могут ли люди создавать разумные машины?». Это правда, что существует много определений «разума». Некоторые люди говорят, что машина, прошедшая тест Тьюринга, разумна, а некоторые говорят, что разумна машина, которая обладает самосознанием и может думать. нет общепризнанного определения. Таким образом, взгляды постепенно делятся на две группы: один — это сильный взгляд на ИИ, а другой — слабый взгляд на ИИ. осознания и интуиции, в то время как слабый взгляд на ИИ считает, что они не могут.

Однако зацикленность на стандартах интеллекта и на том, можем ли мы сделать машины разумными, нам не очень помогает.Сейчас мы хотим сделать машины чуть более «умными» и делать за нас многое. Это хорошо, но возникла и «теория угроз искусственного интеллекта».Объективно говоря, до того, как искусственный интеллект сможет реально угрожать людям, еще далеко, но я должен признать, что многие механические задачи, проблема, которая Машины хороши, вероятно, постепенно будут заменены роботами, что повысит барьеры знаний для работы и сделает некоторых работников безработными.Это общая тенденция, и ее нельзя остановить.

глубокое обучение

Итак, с какими проблемами хорошо справляются машины, а с какими — люди?

Мы знаем, что когда первые компьютеры сталкивались с проблемами, людям нужно было описывать им проблемы, правила и стратегии, жестко кодировать их в систему, а затем передавать их компьютеру, чтобы сделать это, но люди постепенно сталкивались со многими трудностями. вызвано системами, которые полагаются на жесткое кодирование. И эта проблема также заставляет людей осознать, что системы ИИ должны иметь возможность приобретать собственные знания. Вычислительная мощность компьютеров в сложных вычислениях, поиске стратегии с четкими правилами (например, в шахматах) и крупномасштабном хранении и памяти намного превосходят человеческие.Для машин эти проблемы не более чем выполнение правил, но человеческая интуиция сложна. чтобы быть машинным обучением, включая распознавание объектов, наблюдение и суждение, слушание, речь, чтение и письмо и т. д., эти проблемы трудно формально описать компьютерам, но мы все еще хотим решить эти проблемы и все еще должны быть решены.

В этой книге основное внимание уделяется решению, которое позволяет компьютерам учиться на собственном опыте и понимать мир с точки зрения иерархии понятий, где каждое понятие определяется на основе более простого определения знаний, необходимых компьютеру. Мы называем этот метод глубоким обучением. Глубокое обучение — это лишь небольшой предмет в области машинного обучения, как видно из рисунка ниже, но поскольку оно решает множество проблем, которые раньше было невозможно решить, и улучшает проблемы, которые раньше не решались должным образом, оно стало известный и вошел в общественное видение.

Более четкое определение дается следующим образом:

«Глубокое обучение — это метод изучения представлений, который преобразует необработанные данные в более высокоуровневые, более абстрактные представления с помощью некоторых простых нелинейных моделей. При достаточном количестве комбинаций преобразований можно также изучить очень сложные функции».

Где применяется глубокое обучение?

Из приведенного выше рисунка видно, что в первую очередь мы фокусируемся на области ИИ. ИИ включает в себя ИИ, основанный на знаниях (аналогично предыдущей экспертной системе), а также включает машинное обучение. Машинное обучение делится на несколько категорий, таких как SVM , LR и другие традиционные методы классификации и регрессии, другой категорией является обучение представлению, традиционные методы машинного обучения предназначены для изучения сопоставления представления-> вывода. Ф « role = «презентация» стиль = «позиция: относительная;»> F F, где представление часто требует разработки признаков, а метод представления данных задается вручную.Выбор представления оказывает огромное влияние на производительность машинного обучения, и суть обучения представлениям заключается в том, что оно не только изучает представление-> выходное отображение, но также изучает само представление, то есть изучает лучшее представление входных данных.Обучение представлению похоже на сквозной процесс, который напрямую выводит ряд отношений отображения от входа к выходу.Обучение представления включает в себя поверхностное автоэнкодеры (автоэнкодеры), предназначенные для обучения отображению ввода в другое представление с минимально возможной потерей информации, направлены на получение представления с хорошими свойствами, которых нет у ввода. Другой важной категорией репрезентативного обучения является глубокое обучение.Глубокое обучение заключается в глубоком слове, также известном как глубокая нейронная сеть, потому что эта глубина состоит из нескольких слоев нейронных сетей, таких как многослойный персептрон (MLP), который принадлежит глубокая область исследования. Проще говоря, глубокое обучение представляет собой комбинацию многих слоев нейронных сетей.Используя комбинацию глубинных и нелинейных единиц, большее количество комбинаций функций или концепций обучения позволяет машинам изучать более сложные отображения и решать более сложные.Принято считать, что за данными наблюдения в нашей конкретной проблеме стоят определенные факторы, и цель глубокого обучения — изучить такие факторы и то, как эти факторы изменяются. Нет единого мнения о том, насколько глубоко глубоко.
Эта диаграмма в книге более наглядно иллюстрирует подход глубокого обучения.

История и тенденции

В целом можно выделить несколько основных тенденций глубокого обучения в историческом процессе:

• Глубокое обучение имеет долгую и богатую историю, но многие люди, чьи имена отражают разные философские взгляды, ушли и не помнят.
• Глубокое обучение становится лучше благодаря большему количеству обучающих данных
• Быстрое совершенствование программного и аппаратного обеспечения обеспечивает материальную основу для глубокого обучения.
• Глубокое обучение имеет более высокую точность и постепенно решает все более сложные задачи.

Может быть много людей, которые думают, что нейробиология — это симуляция мозга.Действительно, исследования нейробиологии мозга вдохновили нейронные сети, но глубокое обучение, или нейронные сети, больше вдохновлено многими другими областями, такими как приложения. Математическая основа, теория информации и численная оптимизация и т. д., можно даже прямо сказать, что нейронная сеть — это математическая задача.

Историю глубокого обучения можно проследить до 1940-х годов, которые были периодом зарождения нейронных сетей, изобретением нейрона Маккаллоха-Питтса в 1943 году, подъемом кибернетики и предложением правил обучения Хебба в 1945 году. нейронных сетей. Позже, с 1950-х до конца 1960-х годов, в 1958 году был предложен персептрон, а в 1960 году был предложен ADALINE (адаптивный линейный элемент), что привело к постепенному процветанию этого периода. Однако вышеупомянутые модели в конце концов являются только линейными моделями, неспособными решать более сложные задачи или даже изучать операцию XOR, что разочаровывало людей, поэтому до конца 1970-х вся область погрузилась в молчание. К 1980-м годам началась волна коннекционизма и параллельных распределенных вычислений, знаменитый алгоритм обратного распространения в 1986 году (BP, Изобретение обратного распространения, предложение распределенного представления и моделирование последовательностей, LSTM — все они были предложены одно за другим, что представляет собой еще одну волну процветания. Коннекционизм - это теория, объединяющая области когнитивной психологии, искусственного интеллекта и философии разума, утверждающая, что «большое количество простых вычислительных единиц можно соединить друг с другом для достижения разумного поведения». Вскоре после процветания (вероятно, было так же жарко, как сейчас) ринулись многие предприниматели. Чтобы получить инвестиции, постепенно поднимался ветер адвокации, в результате чего обещанный окончательный эффект не был достигнут, инвесторы постепенно теряли доверие, и в то время было мало данных. Количество слоев невелико, обучение идет медленно, легко вызвать проблему переобучения или неподгонки, а большой успех SVM и графических моделей сделал нейронная сеть снова подавилась и замолчала.CIFAR (канадский Академическая организация Института перспективных исследований), в состав которой входят ЛеКун, Бенжио, Хинтон и другие, теперь уже знакомые всем, да, Бенжио, автор этой книги, настаивавшие на исследованиях нейронных сетей. В 2006 году Хинтон опубликовал известную статью, показывающую, что сети глубокого убеждения можно эффективно обучать с помощью стратегии жадного многослойного предварительного обучения. Позже люди обнаружили, что этот метод отлично работает и в других глубоких сетях. С тех пор глубокое обучение стало используется в различных областях. Ярко сияет, и 2006 год также называют «первым годом глубокого обучения».

В настоящее время наиболее важными областями глубокого обучения являются компьютерное зрение, распознавание речи и обработка естественного языка.

Почему глубокое обучение?

Это очень просто, вы можете получить представление об этом со следующих аспектов

• Размер набора данных: сегодняшняя растущая оцифровка, взрывной рост объема данных заставляет людей хотеть извлекать различные шаблоны и значения из огромных объемов данных.
• Вычислительная мощность и размер модели: увеличение вычислительной мощности позволяет нам обучать все более и более крупные модели, увеличивая размер модели и увеличивая сложность решаемых задач.
• Точность, сложность задач: глубокое обучение показало хорошие результаты во многих областях, даже превосходя людей в некоторых задачах распознавания, решая все более сложные проблемы.
• Практическое применение: Внедрение глубокого обучения решило многие потребности людей, принесло большую пользу и заставило людей постепенно влюбиться в него.

слабое место?

Однако есть ли недостатки в глубоком обучении? Нет, диалектически вещи всегда имеют две стороны.Некоторые слабости глубокого обучения заключаются в следующем:

• Во многих случаях исходное представление данных уже подходит
• нужно много данных
• Огромные накладные расходы на вычисления, небольшие учреждения немного виртуальны
• легко попасть в локальный оптимум
• Необъяснимый, «таинственный»

Наконец

Эта статья взята из вводной части первой главы этой книги.Первая глава знакомит с концепцией глубокого обучения и положением глубокого обучения во всей области, а затем объясняет историческое развитие и тенденцию глубокого обучения, а также то, как стоять на таком Внутреннем и внешнем причинах высокой ступени. В сочетании с некоторым моим собственным пониманием, внесшим свой вклад в эту статью. У автора мало знаний.Если что-то не так, хотелось бы указать на это.Спасибо друзьям, кто дочитал до конца.
Также прилагается PPT выступления автора в беседе, и большая его часть взята из первой главы этой книги, вы можете попробовать скачать и посмотреть.

Говоря о глубоком обучении.PDF

References

• 《Глубокое обучение》GoodFellow, Bengio и т. д.
• Обзор глубокого обучения ЛеКун, Бенжио, Хинтон
• "Глубокое обучение отмечает завершающую серию" zouxy