Мало знаний, большой вызов! Эта статья участвует в "Необходимые знания для программистов«Творческая деятельность.

1. Структура сети РНС

Прежде всего, давайте сравним сходства и различия структуры простой полносвязной нейронной сети и RNN, Как показано на рисунке ниже, мы обнаружим, что RNN имеет больше параметров h, чем полносвязная нейронная сеть, поэтому формула нейрона RNN будет лучше, чем полносвязная нейронная сеть.Еще один нейрон.

Что касается процесса обучения, то он ничем не отличается от полносвязной нейронной сети, это процесс непрерывного уменьшения разницы между предсказанным значением и реальным значением на основе метода градиентного спуска.

Нижнее левое изображение на рисунке ниже представляет собой формулу выходного нейрона.С помощью этой формулы мы видим, что вся структура RNN разделяет 1 группу (U, W, b), а формула расчета каждого нейрона скрытого слоя h равна определяется текущим. Вход X состоит из выхода предыдущего нейрона скрытого слоя.

2. Другие сетевые структуры RNN

Наиболее классическим применением приведенной выше структуры RNN является классификация текста (последовательности). RNN имеет больше, чем эта структура.Вы можете спроектировать ввод и вывод в соответствии со своими собственными идеями для выполнения соответствующих задач.Давайте рассмотрим несколько распространенных структур RNN и их использование.

(1) Структура RNN с одним входом и несколькими выходами

(2) Структура RNN с несколькими входами и несколькими выходами

(3) Структура RNN с несколькими входами и несколькими выходами с неравной длиной входных и выходных данных.

3. Преимущества и ограничения сетей RNN

Преимущество сетевой структуры RNN заключается в том, что ее ввод может быть множественным и упорядоченным, она может имитировать порядок чтения человеком текста или других сериализованных данных, а за счет кодирования нейронов скрытого слоя информация предыдущего скрытого слоя нейрон может быть передан следующему нейрону скрытого слоя, тем самым формируя определенную способность памяти для лучшего понимания сериализованных данных.