Со времени популярности слова «искусственный интеллект» слово «нейронная сеть» стало нарицательным.Многие люди хотят узнать о нейронных сетях, но когда они видят глубокие концепции и сложные формулы нейронных сетей, они могут только сдаться. Не паникуйте, эта статья поможет вам понять нейронные сети с прямой связью в виде простых и глубоких примеров, надеюсь, вам поможет.
Чтобы помочь вам лучше понять нейронные сети с прямой связью, я объясню в трех частях:
- В первой части используются примеры, которые помогут вам установить основные понятия.
- Вторая часть объединяет математику на основе понятий
- Часть 3 иллюстрирует нейронные сети с прямой связью с использованием математики.
Во-первых, давайте начнем с Сяомин
Перед Сяомином лежат пять стопок документов, в каждой из которых по 1000 копий, четыре из которых классифицированы по английскому, французскому, немецкому и итальянскому языкам. , Классификация.
Сяо Мин не выучил столько языков, поэтому у него большая голова, когда он видит пятую стопку документов.
У Сяо Мина сейчас нет времени изучать эти четыре языка, но Сяо Мин придумал способ: сначала он рассмотрел характеристики четырех языков, которые были классифицированы, например, какие символы в английском языке не встречаются в других языках. языки. , как обычно выглядят итальянские буквы.
После того, как Сяомин изучит характеристики этих языков, Сяомин будет читать неклассифицированные документы слева один за другим.Когда он найдет символ Ä при чтении первого документа, он поместит этот документ на немецком языке.В категории, когда вы видите много бинарных пар символов "th" в документе, этот документ будет помещен в англоязычную категорию.
Таким образом, после постоянного чтения документов -> просмотра функций -> классификации по функциям, Сяо Мин наконец правильно классифицировал все документы.
Но что интересно, Сяо Мин до сих пор не понимает эти языки, но все еще может правильно их классифицировать.
2. Используйте математику для анализа Сяомин
Вышеупомянутый Сяомин не понимает языка, но он добился правильной классификации.Далее давайте используем математику для анализа этого вопроса.
Сяо Мин нашел функцию
Вышеупомянутый Сяомин не классифицирует напрямую неклассифицированные документы с 1000 баллами.Он сначала узнает, какие функции есть в классифицированных документах.Если X используется для представления появления двоичных пар символов в каждом документе Частота, используя Y для представления окончательной классификации, то математическая формула может быть выражена следующим образом:
Yанглийский = Xaa * WaaАнглийский + Xab * WabАнглийский + Xac * WacАнглийский + ...... + Xzz * WzzАнглийский
YФранцузский = Xaa * WaaФранцузский + Xab * WabФранцузский + Xac * Wфранцузский + ...... + Xzz * WzzФранцузский
YНемецкий = Xaa * WaaНемецкий + Xab * WabНемецкий + Xac * Wнемецкий + ...... + Xzz * WzzНемецкий
Yитальянский = Xaa * Waaитальянский + Xab * WabИтальянский + Xac * Wитальянский + ...... + Xzz * WzzИтальянский
Примечание: W означает вес
Для приведенной выше формулы Сяо Мин уже знает X и Y. Цель его функции обучения — получить оптимальный вес для каждого языка, то есть выучить W.
Сяомин для классификации
Когда Сяо Мин изучил в уме систему W, он начал классифицировать несекретные документы, то есть постоянно вводить X, и, наконец, Сяо Мин использовал приведенную выше формулу, вводя X и W, чтобы получить окончательную классификацию документа.
Среди них W относится к модели в нашем общепринятом понимании. Весь процесс классификации Сяо Мина состоит в том, чтобы сначала использовать известные X и Y, чтобы найти W, а затем использовать известные X и W, чтобы найти Y.
Для вышеуказанного режима обучения мы называем его обучением с учителем.
Нейронная сеть прямого распространения по трем формулам
Для приведенной выше классификации документов входными данными являются некоторые документы, подлежащие классификации, выходными данными является конечная категория документа, а Сяомин существует как черный ящик, теперь давайте откроем этот черный ящик.
На картинке представлена схема нейронной сети с прямой связью, почему она называется с прямой связью? Это связано с тем, что каждый нейрон связан только с нейронами предыдущего слоя.
Входной слой выше — это документ, который нужно классифицировать, выходной слой — это категория документа, а три скрытых слоя посередине — это расчет различных признаков.
Давайте сначала возьмем входной нейрон и нейрон в первом скрытом слое:
Каждый нейрон входного слоя представляет собой частоту пары двоичных символов. Когда получен первый скрытый слой, частота пары двоичных символов умножается на вес и добавляется смещение b. Формула такова:
NNMLP1(x) = x*W1 + b1
Для удобства нашего расчета нам нужно использовать некоторые нелинейные функции в нейронной сети для обработки данных скрытого слоя.Нелинейная функция, которая часто использовалась в прошлом, — это сигмовидная функция, но исследователи обнаружили, что при выполнении окончательный результат, ReLU (пересмотренная линейная единица). Функция лучше, чем сигмовидная функция.
Изображение выше — это изображение функции ReLU.
Тогда приведенная выше формула будет:
NNMLP1(x) = Re1(x*W1 + b1)
Затем, наконец, когда мы обобщаем один слой до конечного результата:
NNMLP3(x) = P
h1 = Re1(x*W1 + b1)
h2 = Re2(h1*W2 + b2)
h3 = Re3(h2*W3 + b3)
P = h3 * W3
Для удобства просмотра приведенной выше формулы я приведу примеры каждого слоя отдельно.
В приведенной выше формуле мы видим, что окончательный P просто использует h3 * W3, мы приводим вектор смещения к 0.
В итоге мы получаем вероятность классификации документа.
Стоит отметить, что вход X — это вектор, W — векторная матрица, и результирующий P — тоже вектор.
Суммировать
Выше мы объяснили, что такое нейронная сеть с прямой связью и представление ее формулы на примере Сяомин, Для нейронной сети мы можем использовать некоторые помеченные данные для обучения, чтобы получить подходящую модель, то есть W, а затем мы можем применить эта модель по неизвестным данным.
Фактически, при применении нейронных сетей с прямой связью нам необходимо определить количество скрытых слоев и условий смещения в соответствии с нашими собственными требованиями, и для предотвращения переобучения мы также будем использовать регуляризацию или способ отбрасывания.