Стостраничные конспекты курса, глубокое обучение с точки зрения статистической физики

глубокое обучение

Об этом сообщает Heart of the Machine, участие: Цзя Вэй, Сыюань.

Глубокие нейронные сети не только принесли большие изменения в информатику, но и вызвали огромный резонанс в других дисциплинах.Учителя и студенты, изучающие математику, физику, биологию, астрономию и другие области, приступили к самообучаемому машинному обучению. известные колледжи и университеты с предусмотрительностью начали предлагать соответствующие курсы для своих преподавателей и студентов, а машинное обучение может быть даже включено в список обязательных предметов для научных и инженерных специальностей в различных колледжах и университетах в ближайшем будущем.

Недавно профессор Бернхард Мелиг с факультета физики Гетеборгского университета опубликовал на arXiv свою «новую книгу» «Искусственные нейронные сети». Эта книга основана на его заметках во время преподавания в осеннем семестре 2018 года (FFR315) на физическом факультете Гетеборгского университета. В этом курсе он объединяет знания физики (особенно статистической физики) для подробного описания машинного обучения.Нейронные сетиРазличные приложения в физике, включая глубокое обучение, сверточные сети,обучение с подкреплениеми различные другие контролируемые и неконтролируемые алгоритмы машинного обучения.

Книга очень тонкая, всего 157 страниц, но она очень своеобразна по сравнению с текущими книгами по машинному обучению на рынке. Во-первых, он рассказал о многих содержаниях, которые редко освещаются в современных популярных книгах, таких как сеть Хопфилда; во-вторых, содержание книги в основном ориентировано на физику (особенно статистическую физику), можно сказать, что это книга для учителей. в области физики Справочник по машинному обучению, написанный студентами.

Начните с сети Хопфилда

В целом, 157-страничная книга из сети ХопфилдаСеть ХопфилдаВведение в искусственные нейронные сети по трем темам: обучение с учителем и обучение без учителя. Среди них контролируемое обучение вводит знакомое глубокое обучение, а неконтролируемое обучение вводит сети радиальных базовых функций и обучение с подкреплением. Сеть Хопфилда в первой части фокусируется на детерминированной и случайной сети Хопфилда, с которой мы не знакомы, а также на «воровски сложной» случайной оптимизации, которая может быть простой вещью для физики~

Каждая часть содержит несколько глав, и каждая глава содержит упражнения и вопросы для самопроверки. Это лучший способ проверить разделы магистерских степеней. Также касается содержания, сеть Хопфилда более характерна для этой части, потому что, как цветочная книга «Глубокое обучение» и другие популярные материалы, и не представляет это в одиночку. Наше понимание этого все еще возможно в соответствии с уроком Бога, полученным Хинтоном в 2012 году, а именно нейронными сетями для машинного обучения. Итак, если вы хотите узнать о ранних исследованиях и разработках искусственной нейронной сети, см. раздел справа.

Сеть Хопфилда — это искусственная нейронная сеть, которая может распознавать или реконструировать изображения, присваивать веса некоторым методом (правило Хебба) и сохранять изображение в искусственной нейронной сети. Это очень классическая идея, которая лежит в основе таких методов, как машины Больцмана и сети глубокого убеждения, но в настоящее время глубокие нейронные сети могут заменить ее для задач распознавания образов.

Авторы говорят, что в первой части курса используются сети Хопфилда по трем основным причинам: во-первых, многие последующие глубокие нейронные сети основаны на тех же строительных блоках и методах обучения, подобных правилам Хебба. Во-вторых, сеть Хопфилда может хорошо решить задачу оптимизации, а окончательный алгоритм тесно связан с методом Монте-Карло цепи Маркова, который очень важен в физике и статистике. Наконец, сети Хопфилда тесно связаны с физическими случайными системами и, вероятно, являются наиболее важными.

Последние две части — это контролируемое и неконтролируемое обучение, с которым мы более знакомы Они постепенно переходят от персептронов к полносвязным сетям, сверточным сетям и рекуррентным сетям, которые также являются путями обучения большинства курсов и книг.

Не физически, будьте осторожны

Как упоминалось ранее, это сочетание физики (статистической физики) и машинного обучения. Хотя основное внимание в книге уделяется машинному обучению, основное внимание по-прежнему уделяется физике. С одной стороны, в физике между ее написанием и написанием много языка, например вот это:

Это не препятствие для читателей, изучавших квантовую механику, но может стать серьезным препятствием для читателей, не специализирующихся в области физики.

Оглавление всей книги показано ниже: