Всем привет, меня зовут Юфэн. В ближайшее время я поделюсь некоторыми базовыми знаниями о глубоком обучении и различных приложениях, включая регрессию, классификацию изображений, сегментацию изображений, семантическую сегментацию, DCGAN, pix2pix, SRGAN и т. д. Все они посвящены основам, поэтому они названы сериями [Научим вас вручную] Я надеюсь, что эта серия поможет вам получить предварительное представление о глубоком обучении и его приложениях, а также найти направление, которое вас больше интересует, и продолжать двигаться вперед. Сегодня я хочу поделиться с вами [Teach You Hands-on] первым введением в нейронные сети. Или старая поговорка: я Юфэн, я надеюсь, что статьи, которыми я делюсь, помогут вам и другим друзьям. Добро пожаловать, чтобы переслать или перепечатать! Добро пожаловать в «Кодовое слово Юфэн»

нейронная сеть человеческого мозга

Искусственные нейронные сети вдохновлены их биологическими аналогами. Биологические нейронные сети позволяют мозгу обрабатывать огромные объемы информации сложными способами. Биологическая нейронная сеть головного мозга состоит примерно из 100 миллиардов нейронов, основной процессорной единицы мозга. Нейроны выполняют свои функции через огромные связи друг с другом, называемые синапсами. В человеческом мозгу около 100 триллионов синапсов, а на каждый нейрон их около 1000!

Рецептивная зона:

树突接收到输入信息。

Триггерная зона:

位于轴突和细胞体交接的地方，决定是否产生神经冲动。

Зона проведения:

由轴突进行神经冲动的传递。

Выходная зона:

神经冲动的目的就是要让神经末梢，突触的神经递质或电力释出，才能影响下一个接受的细胞（神经元、肌肉细胞或是腺体细胞），此称为突触传递。

Основная функция нейронов заключается в том, что они могут генерировать возбуждение после стимуляции и могут передавать возбуждение другим нейронам. Путь передачи нервных импульсов в организме: синапс предыдущего нейрона → дендрит → тело клетки → аксон → синапс. Итак, что такое искусственная нейронная сеть? Существует множество определений искусственных нейронных сетей. Вот определение, данное финским ученым-компьютерщиком Теуво Кохоненом: Искусственная нейронная сеть представляет собой разветвленную параллельную взаимосвязанную сеть простых адаптивных единиц, организационная структура которой может имитировать биологическую интерактивную реакцию нервной системы на реальный мир. Искусственная нейронная сеть аналогична по функциям нейронам человеческого мозга, а также имеет входной слой (эквивалентный принимающей области нейронов человеческого мозга), выходной слой (эквивалентный выходной области нейронов человеческого мозга), и скрытый слой (эквивалентный нейронам человеческого мозга) зона проводимости).

Входной слой:

         输入层接收特征向量 x 。

выходной слой:

         输出层产出最终的预测 h 。

Скрытый слой:

      隐含层介于输入层与输出层之间，之所以称之为隐含层，是因为当中产生的值并不像输入层使用的样本矩阵 X 或者输出层用到的标签矩阵 y 那样直接可见。

Искусственная нейронная сеть состоит из входного слоя и выходного слоя, где входной слой получает данные из внешних источников (файлы данных, изображения, аппаратные датчики, микрофоны и т. д.), один или несколько скрытых слоев обрабатывают данные, а выходной слой уровень предоставляет одну или несколько точек данных, основанных на функциональности сети. Например, нейронная сеть, которая обнаруживает людей, автомобили и животных, будет иметь выходной слой с тремя узлами. Сеть, которая классифицирует транзакции банков как безопасные и мошеннические, будет иметь только один выход.

Введение в нейронные сети

1 МП модель

Следуя за нейронами головного мозга человека, мы создали модель MP. Чтобы упростить моделирование и облегчить формальное выражение, мы игнорируем сложные факторы, такие как интеграция времени и рефрактерный период, и рассматриваем синаптическую задержку и силу нейронов как константы. На следующем рисунке представлена ​​схема модели MP.

Сравните модель MP со списком свойств биологических нейронов, чтобы облегчить понимание Сравнение модели МП с нейронами головного мозга человека

6 особенностей модели M-P:

1. Каждый нейрон представляет собой блок обработки информации с несколькими входами и одним выходом.

2. Вход нейрона делится на два типа: возбуждающий вход и тормозной вход (в зависимости от положительного или отрицательного значения веса w).

3. Нейроны обладают свойствами пространственной интеграции и пороговыми свойствами (нейрон активируется только при достижении порога).

4. Существует фиксированная временная задержка между входом и выходом нейрона, в основном зависящая от синаптической задержки (вычисления занимают много времени).

5. Игнорировать временную интеграцию и рефрактерные периоды

6. Сам нейрон не зависит от времени, то есть его синаптическая задержка и синаптическая сила постоянны.

Первые 4 точки согласуются с нейронами головного мозга человека.Эта модель нейронов с «пороговой взвешенной суммой» называется моделью MP (модель Маккаллоха-Питтса), также известной как блок обработки (PE, Processing Element) нейронной сети. Модель М-П может представлять операции логических «и», «или» и «инверсия», но эта операция требует ручного определения параметров и не может быть получена путем «обучения».

2 Однослойный персептрон

В 1958 году американский психолог Фрэнк Розенблатт предложил нейронную сеть с одноуровневым вычислительным блоком, названную Перцептроном. Фактически он основан на структуре модели MP.Структура однослойного персептрона показана на рисунке ниже.

Однако, в отличие от модели MP, для которой необходимо вручную задавать параметры, персептрон может автоматически определять параметры посредством обучения, то есть параметры можно получить путем «обучения». Метод обучения представляет собой обучение с учителем, то есть необходимо установить обучающие образцы и ожидаемый результат, а затем настроить разницу между фактическим и ожидаемым результатом (обучение с исправлением ошибок), чтобы настроить такие параметры, как веса и условия смещения.

Процесс обучения персептрона:

1. 准备训练

    a. 准备N个训练样本xi，和期望输出ri

     b. 初始化参数w和b

2. 调整参数

    a. 迭代调整，直到误差为0或小于某个指定数值

        1). 逐个加入样本，计算实际输出

        实际输出与期望相等时，参数不变。

        实际输出与期望不同时，通过误差修正学习调整参数。

        重复步骤“1)”

    重复步骤“a”

Персептрон является самой ранней искусственной нейронной сетью, разработанной и реализованной. Благодаря обучению с исправлением ошибок параметры могут быть получены автоматически. Это огромное изменение, вызванное персептроном. Хотя однослойный персептрон прост и элегантен, он явно недостаточно умен — у него есть возможность только классифицировать линейные задачи. Что такое линейная задача? Проще говоря, это график, который можно разделить прямой линией. Например, логическое И и логическое ИЛИ являются линейными задачами:

Y=f(w1x1+w2x2-θ)

(1) Операция «И». Если взять w1=w2=1 и θ=1,5, приведенная выше формула завершает логическую операцию «И».

(2) Операция «ИЛИ», когда wl=w2=1, θ=0,5, приведенная выше формула завершает логическую операцию «ИЛИ».

Как и многие алгебраические уравнения, неравенства в приведенном выше уравнении имеют определенный геометрический смысл.

3 многослойных персептрона

Ограничение однослойного персептрона заключается в том, что он может решать только линейно разделимые задачи и больше не применим к линейно неразделимым задачам. Для решения более сложных задач, таких как линейные неразделимые задачи, люди предложили модель многослойного персептрона (multilayer perceptron), как показано на рисунке

Многослойная модель персептрона состоит из входного слоя, скрытого слоя и выходного слоя.Персептрон скрытого слоя связан с каждой единицей входного слоя через веса, а выходное значение каждой единицы скрытого слоя вычисляется пороговой функцией. Скрытый слой и выходной слой также связаны весами. Многослойный персептрон также определяет вес соединения между двумя слоями посредством обучения с исправлением ошибок, но его нельзя регулировать между слоями, поэтому многоуровневое обучение невозможно. Следовательно, исходный многослойный персептрон использует случайные числа для определения веса соединения между входным и скрытым слоями и выполняет обучение с исправлением ошибок только для веса соединения между промежуточным слоем и выходным слоем. Это будет иметь большую ошибку, и иногда входные данные будут отличаться, но выходное значение скрытого слоя будет одинаковым, что приведет к неточной классификации. Для обучения многоуровневой сети предлагается алгоритм обратного распространения ошибки.Алгоритм обратного распространения ошибки сравнивает фактический вывод и ожидаемый вывод для получения сигнала ошибки, и сигнал ошибки распространяется вперед слой за слоем из выходного слоя. чтобы получить ошибку каждого слоя.Сигнал корректируется, чтобы уменьшить ошибку, регулируя веса соединения каждого слоя. Регулировка веса в основном использует алгоритм градиентного спуска. Однако с увеличением количества скрытых слоев во время обучения возникла проблема «градиентного взрыва», из-за технологий того времени эта проблема не была решена, и исследования глубокого обучения пришли в упадок. В 2006 году Хинтон и др. опубликовали статью «Уменьшение размерности данных с помощью нейронных сетей» в журнале Science, которая открыла прелюдию к новому алгоритму обучения глубоких нейронных сетей. Использование неконтролируемых сетей RBM для предварительного обучения, уменьшения размерности изображения и получения лучших результатов, чем PCA, обычно считается началом подъема глубокого обучения.

В 2011 году Глорот и др. предложили функцию активации ReLU, которая эффективно подавляла проблему исчезновения градиента в глубокой сети.Сейчас лучшие функции активации принадлежат семейству ReLU, которое просто и эффективно.

В 2012 году Алекс Крижевский, ученик Хинтона, предложил сеть AlexNet, которая побила по результативности классификации второе место (метод SVM). Именно из-за этой конкуренции CNN привлекла внимание многих исследователей.

С тех пор были предложены различные нейронные сети, что сделало технологии машинного обучения и глубокого обучения все более популярными.

Я написал это здесь в начале сегодняшнего дня, а в дальнейшем расскажу о различных применениях глубокого обучения, так что следите за обновлениями.

Я Юйфэн, общедоступный номер «Кодовое слово Юйфэн», добро пожаловать, чтобы подразнить