Seq2Seq и механизм внимания

Это 24-й день моего участия в августовском испытании обновлений. Ознакомьтесь с подробностями мероприятия: Испытание августовского обновления

В моделях языка на основе слов мы используем рекуррентные нейронные сети. Его вход представляет собой последовательность неопределенной длины, а выход имеет фиксированную длину, например, вход: Они есть, а выход может быть наблюдающим или спящим. Однако результатом многих задач является последовательность неопределенной длины. Возьмем в качестве примера машинный перевод: входные данные представляют собой абзац английского языка, выходные данные представляют собой абзац французского языка, а ввод и вывод имеют переменную длину, например.

Английский: наблюдают

Французский: lls уважительно

Когда входные и выходные последовательности имеют переменную длину, мы можем использовать кодировщик-декодер или seq2seq. Они основаны на двух работах 2014 года:

Cho et al., Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Sutskever et al., Sequence to Sequence Leaerning with Neural Networks

Две вышеупомянутые работы по существу используют две структуры рекуррентной нейронной сети, называемые кодировщиком и декодером соответственно. Кодер соответствует входной последовательности, а декодер соответствует выходной последовательности.

кодер-декодер

Кодер и декодер соответствуют двум рекуррентным нейронным сетям входной последовательности и выходной последовательности соответственно. Обычно мы добавляем специальный символ '' (конец последовательности) к входной последовательности и выходной последовательности, чтобы указать конец последовательности. При тестировании модели завершите текущую выходную последовательность, как только будет выведено «».

Кодер

Роль кодировщика заключается в преобразовании входной последовательности переменной длины в вектор фонового слова фиксированной длины. $\boldsymbol{c}$ . Вектор фонового слова содержит информацию о входной последовательности. Обычно используемые кодировщики представляют собой рекуррентные нейронные сети.

Сначала просмотрите знания о следующей рекуррентной нейронной сети. Предположим, что единицей рекуррентной нейронной сети является $f$ ,существует $t$ Ввод времени $x_t,t=1,...,T$ . Предположение $\boldsymbol{x}_t$ является результатом одного вывода на уровне внедрения, например. $\boldsymbol{x}_t$ Соответствующий горячий вектор $\boldsymbol{o}\in \mathbb{R}^x$ с матрицей параметров слоя внедрения $\boldsymbol{E}\in \mathbb{R}^{x\times h}$ продукт $\boldsymbol{o}^\top\boldsymbol{E}$ . скрытая переменная слоя

\boldsymbol{h}_t = f(\boldsymbol{x}_t, \boldsymbol{h}_{t-1})

Вектор фона кодировщика

\boldsymbol{c} = q(\boldsymbol{h}_1, \ldots, \boldsymbol{h}_T)

Простой фоновый вектор можно рассматривать как переменную скрытого слоя в конце сети. $\boldsymbol{h}_T$ . Мы называем здесь рекуррентную нейронную сеть кодировщиком.

Двунаправленная рекуррентная нейронная сеть

Вход в кодировщик может быть как прямым, так и обратным проходом. Если входная последовательность $\boldsymbol{x}_1,\boldsymbol{x}_2,...,\boldsymbol{x}_T$ , в прямом проходе переменная скрытого слоя

\overrightarrow {\boldsymbol{h}}_t = f(\boldsymbol{x}_t,\overrightarrow {\boldsymbol{h}}_{t-1})

В процессе обратного переноса вычисление переменных скрытого слоя становится

\overleftarrow {\boldsymbol{h}}_t = f(\boldsymbol{x}_t,\overleftarrow {\boldsymbol{h}}_{t-1})

Мы можем использовать двунаправленную рекуррентную нейронную сеть, когда хотим, чтобы вход кодировщика содержал информацию как о прямом, так и о обратном проходе. Например, если задана входная последовательность $\boldsymbol{x}_1,\boldsymbol{x}_2,...,\boldsymbol{x}_T$ , согласно прямому проходу, их переменные скрытого слоя в рекуррентной нейронной сети соответственно $\vec {\boldsymbol{h}}_1,\vec {\boldsymbol{h}}_2,...,\vec {\boldsymbol{h}}_T$ ; согласно обратному распространению, их переменные скрытого слоя в рекуррентной нейронной сети соответственно $\overleftarrow{\boldsymbol{h}}_1,\overleftarrow{\boldsymbol{h}}_2,...,\overleftarrow{\boldsymbol{h}}_T$ . В двунаправленной рекуррентной нейронной сети момент $i$ Переменная скрытого слоя — это $\vec{\boldsymbol{h}}_i$ и $\overleftarrow{\boldsymbol{h}}_i$ соединены вместе, напр.

import numpy as np
h_forward = np.array([1, 2])
h_backward = np.array([3, 4])
h_bi = np.concat(h_forward, h_backward, dim=0)
# [1, 2, 3, 4]

декодер

Кодер наконец выводит фоновый вектор $\boldsymbol{c}$ , фоновый вектор интегрирует входную последовательность $\boldsymbol{x}_1,\boldsymbol{x}_2,...,\boldsymbol{x}_T$

Предположим, что выходная последовательность в обучающих данных равна $\boldsymbol{y}_1,\boldsymbol{y}_2,...,\boldsymbol{y}_{T'}$ , мы хотим представить каждый $t'$ Выходной вектор в данный момент зависит как от предыдущего вывода, так и от фонового вектора. Потому что мы можем максимизировать совместную вероятность выходной последовательности

P(\boldsymbol{y}_1,\boldsymbol{y}_2,...,\boldsymbol{y}_{T'})=\prod_{t'=1}^{T'}P(\boldsymbol{y}_{t'}\mid \boldsymbol{y}_1,...,\boldsymbol{y}_{t'-1},\boldsymbol{c})

и получить функцию потерь для этой выходной последовательности

-\log P(\boldsymbol{y}_1,...,\boldsymbol{y}_{T'})

Для этого в качестве декодера используем другую рекуррентную нейронную сеть. Функция использования декодера $p$ для представления одного выхода $\boldsymbol{y}_{t'}$ Вероятность

P(\boldsymbol{y}_{t'}\mid \boldsymbol{y}_1,...,\boldsymbol{y}_{t'-1},\boldsymbol{c})=p(\boldsymbol{y}_{t'-1},\boldsymbol{s}_{t'},\boldsymbol{c})

один из них $\boldsymbol{s}_{t'}$ за $t'$ Скрытая переменная слоя декодера на данный момент. Переменная скрытого слоя

\boldsymbol{s}_{t'}=g(\boldsymbol{y}_{t'-1},\boldsymbol{c},\boldsymbol{s}_{t'-1})

где функция g — единица рекуррентной нейронной сети

Важно отметить, что кодеры и декодеры обычно используютМногослойная рекуррентная нейронная сеть

механизм внимания

В приведенном выше дизайне декодера в каждый момент используется один и тот же фоновый вектор. $\boldsymbol{c}$ . Что, если бы в разные моменты работы декодера можно было бы использовать разные векторы фона?

Взяв в качестве примера англо-французский перевод, учитывая пару входной последовательности «Они смотрят» и выходной последовательности «lls resent», декодер может использовать больше фоновых векторов, кодирующих информацию «Они» в момент времени 1, для генерации «lls», в то время как время от времени еще 2 фоновых вектора, кодирующие «наблюдаемую» информацию, могут использоваться для генерации «регардента». Это выглядит так, как будто декодер уделяет разное внимание разным моментам во входной последовательности в каждый момент времени. Это также источник механизма внимания.

Теперь небольшая модификация приведенного выше декодера. мы предполагаем момент $t'$ Фоновый вектор $\boldsymbol{c}_{t'}$ . то декодер на данный момент $t'$ Скрытая переменная слоя

\boldsymbol{s}_{t'}=g(\boldsymbol{y}_{t'-1},\boldsymbol{c}_{t'},\boldsymbol{s}_{t'-1})

пусть кодер будет $t$ Скрытая переменная слоя во время $\boldsymbol{h}_t$ , декодер находится в $t'$ Фоновый вектор момента

\boldsymbol{c}_{t'}=\sum_{t=1}^{T}\alpha_{t't}\boldsymbol{h}_t

То есть, учитывая текущий момент декодера $t'$ , нам нужно взять средневзвешенное значение переменных скрытого слоя в разное время в кодировщике. Веса также называются весами внимания. Его формула расчета

\alpha_{t' t} = \frac{\exp(e_{t' t})}{ \sum_{k=1}^T \exp(e_{t' k}) }

и $e_{t' t}\in \mathbb{R}$ Формула расчета

e_{t' t} = a(\boldsymbol{s}_{t' - 1}, \boldsymbol{h}_t)

где функция $a$ Существует несколько подходов к дизайну. существуетБумага Богдановасередина

\boldsymbol{e}_{t't} = \boldsymbol{v}^\top \tanh(\boldsymbol{W}_s \boldsymbol{s}_{t'-1} + \boldsymbol{W}_h \boldsymbol{h}_t),

в $\boldsymbol{v}$ , $\boldsymbol{W}_s$ , $\boldsymbol{W}_h$ Веса и смещения, а также параметры слоя встраивания в двух рекуррентных нейронных сетях кодировщика и декодера — все это параметры модели, которые необходимо изучать одновременно.

существуетБумага БогдановаВ статье и энкодер, и декодер используют ГРУ.

В дешифраторе нужно немного изменить конструкцию ГРУ, предположив $\boldsymbol{y}_t$ является результатом одного вывода на уровне внедрения, например. $\boldsymbol{y}_t$ Соответствующий горячий вектор $\boldsymbol{o}\in \mathbb{R}^y$ с матрицей параметров слоя внедрения $\boldsymbol{B}\in \mathbb{R}^{y\times s}$ продукт $\boldsymbol{o}^\top\boldsymbol{B}$ . Гипотетический момент $t'$ Фоновый вектор $\boldsymbol{c}_{t'}$ . то декодер на данный момент $t'$ одна скрытая переменная слоя

\boldsymbol{s}_{t'} = \boldsymbol{z}_{t'} \odot \boldsymbol{s}_{t'-1} + (1 - \boldsymbol{z}_{t'}) \odot \tilde{\boldsymbol{s}}_{t'}

Среди них шлюз сброса, шлюз обновления и скрытое состояние кандидата соответственно.

\begin{aligned} \boldsymbol{r}_{t'} &= \sigma(\boldsymbol{W}_{yr} \boldsymbol{y}_{t'-1} + \boldsymbol{W}_{sr} \boldsymbol{s}_{t' - 1} + \boldsymbol{W}_{cr} \boldsymbol{c}_{t'} + \boldsymbol{b}_r),\\ \boldsymbol{z}_{t'} &= \sigma(\boldsymbol{W}_{yz} \boldsymbol{y}_{t'-1} + \boldsymbol{W}_{sz} \boldsymbol{s}_{t' - 1} + \boldsymbol{W}_{cz} \boldsymbol{c}_{t'} + \boldsymbol{b}_z),\\ \tilde{\boldsymbol{s}}_{t'} &= \tanh(\boldsymbol{W}_{ys} \boldsymbol{y}_{t'-1} + \boldsymbol{W}_{ss} (\boldsymbol{s}_{t' - 1} \odot \boldsymbol{r}_{t'}) + \boldsymbol{W}_{cs} \boldsymbol{c}_{t'} + \boldsymbol{b}_s), \end{aligned}

Суммировать

На вход и на выход кодера-декодера (seq2seq) могут быть как последовательности переменной длины
Применение механизма внимания к декодеру позволяет декодеру использовать другой фоновый вектор в каждый момент времени. Каждый фоновый вектор эквивалентен назначению разного внимания разным частям входной последовательности.