Часть 1. Основы глубокого обучения

Глава 1. Что такое глубокое обучение

1.1 Искусственный интеллект, машинное обучение и глубокое обучение

Во-первых, давайте проясним взаимосвязь между искусственным интеллектом, машинным обучением и глубоким обучением с помощью диаграммы.

1.1.1 Искусственный интеллект

1.1.2 Машинное обучение

Машинное обучение предлагает новую парадигму программирования, выходящую за рамки классического программирования. Ввод классического программирования — это данные и правила, определенные для данных, а выход — ответ, полученный на основе данных и правил. Входными данными машинного обучения являются данные и ответы, и путем обучения данных и ответов получается общее правило, и эти правила можно применять к новым данным и заставлять компьютер вырабатывать ответ автономно.

1.1.3 Изучение представлений на основе данных

Три элемента машинного обучения:

точка входных данных. Набор данных для обучения, например, ваша задача — распознавание речи, тогда эти точки данных могут быть файлами, которые записывают голос говорящих людей. Если ваша задача состоит в том, чтобы пометить изображения, данные могут быть изображениями.
Пример ожидаемых данных. Целевыми данными для обучения, для задач распознавания речи эти примеры могут быть текстом, соответствующим звуковым файлам, а для задач маркировки изображений ожидаемым результатом могут быть такие метки, как «собака» и «кошка».
Как измерить эффективность алгоритма. Измеряет разрыв между текущим выходом и ожидаемым результатом вычислительного алгоритма. Измерение представляет собой сигнал обратной связи, который регулирует работу алгоритма. Этот этап настройки мы называемучиться.

1.1.4 «Глубина» глубокого обучения

Глубокое обучение — это подобласть машинного обучения: это новый подход к изучению представлений из данных с упором на обучение на связанных слоях, которые соответствуют все более значимым представлениям. Значение глубины в глубоком обучении — это количество слоев в модели обучения. В глубоком обучении эти слои почти всегдаНейронные сетимодель для изучения.

Глубокие сети можно рассматривать как многоступенчатую операцию по дистилляции информации, когда информация проходит через последовательные фильтры с возрастающей чистотой.Каждый раз, когда данные фильтруются, их информационная энтропия уменьшается, а смысл данных становится более ясным..

1.1.5 Использование изображения для понимания того, как работает глубокое обучение

Конкретные операции, выполняемые нейронной сетью над данными каждого слоя, хранятся вВеса, изменение данных каждого слоя параметризуется его весом, поэтому вес также называетсяпараметр. Нейросетевая система часто содержит сотни и более параметров. Цель обучения нейронной сети — найти правильные значения этих весов. Однако найти правильные значения для этих сотен или даже тысяч параметров — непростая задача, зная, что небольшое изменение каждого параметра самым серьезным образом приведет к изменениям других параметров всей системы. Во-первых, нам нужно найти подходящую функцию для измерения расстояния между прогнозируемым значением, выводимым системой, и реальным целевым значением, соответствующим данным. Эта функция находится в нейронной сетифункция потерь,Также известен какцелевая функция. Значение потерь может быть рассчитано с помощью функции потерь, оно используется для измерения значения хороших и плохих эффектов в сети в этом примере. Базовый метод заключается в использовании значения глубины обучения потери в качестве сигнала обратной связи для точной настройки весовых параметров, чтобы уменьшить значение потери, соответствующее настоящему примеру. Такое обусловленооптимизаторчтобы закончить, он достигаетобратное распространениеАлгоритм, который также является основным алгоритмом глубокого обучения. В начале параметры нейросети задавались случайным образом, и величина потерь, естественно, была слишком велика. Однако по мере того, как нейронная сеть обрабатывает все больше и больше данных, параметры будут становиться все более и более правильными, а величина потерь будет все меньше и меньше.

1.1.6 Машинное обучение до глубокого обучения

Некоторые модели и алгоритмы, обычно используемые до глубокого обучения:

Naive Bayes Algorithm: для решения задач классификации.
алгоритм логистической регрессии: Хотя в названии есть слово «регрессия», на самом деле это алгоритм классификации. Два вышеупомянутых алгоритма все еще полезны сегодня.
Опорные векторные машины
Древо решений
случайный лес
Подъемная машина

Вышеупомянутые алгоритмы будут подробно представлены в учебных заметках к другой книге: **«Машинное обучение на практике»**, которые мы здесь пропустим.

1.1.7 Резюме этого раздела

Понимать общие этапы и принципы глубокого обучения
Овладейте некоторыми базовыми понятиями глубокого обучения, такими как: веса, параметры, функции потерь, обратное распространение, оптимизаторы.

Следующая глава: Математические основы нейронных сетей