Помогите вам легко понять Transformer (Часть 1)

Это 23-й день моего участия в Gengwen Challenge.Подробности о мероприятии:Обновить вызов

введение

Есть много внутренних деталей модели Transformer.Эта статья в основном объясняет только часть «Внимание» и часть «Само-внимание».Если вам интересно, вы можете проверить статью.

Что такое трансформатор

• Transformer — это модель Seq2Seq, которая хорошо подходит для задач машинного перевода. Если вы не понимаете модель Seq2Seq, вы можете прочитать мою предыдущую статью.«Подробности обучения и прогнозирования Seq2Seq и методы оптимизации»

• Это не рекуррентная структура нейронной сети, а сетевая структура, которая просто склеена слоями «Внимание», «Само-внимание» и полносвязными слоями.

• Оценочная производительность Transformer полностью превосходит лучшую структуру RNN + Attention В настоящее время никто в отрасли не использует RNN, а использует комбинацию модели BERT + Transformer.

Просмотрите структуру RNN + Внимание

Как показано на рисунке, это модель, состоящая из RNN + Attention, и c вычисляется в процессе декодера._jПроцесс выглядит следующим образом:

а) Установите выходной вектор s в j-й момент Декодера_jс Вт_QУмножьте, чтобы получить q_:j

б) Выход h скрытого слоя каждого кодировщика_iс Вт_KУмножьте, чтобы получить k_:i, так как имеется m входов, то имеется m k_:iвектор, обозначаемый K.

в) использовать К^Tс д_:jУмножая, можно получить m-мерный вектор, а затем после Softmax можно получить m весов a_ij.

【Пояснение】q_:jназывается Запрос, k_:iВызывается Key, функция Query должна соответствовать Key, функция Key должна соответствовать Query, а рассчитанный вес a_ijУказывает степень соответствия между запросом и каждым ключом, чем выше степень соответствия_ijбольше. Я думаю, это можно понять так, Query захватывает Decoder's s_jОсобенности, Key захватывает вывод m h кодировщиком_iособенности, а_ijозначает с_jс каждым часом_iкорреляция.

г) Выход h скрытого слоя каждого кодировщика_iс Вт_VУмножьте, чтобы получить v_:i, так как есть m входов, есть m v_:iвектор, обозначаемый V .

e) После вышеуказанных шагов c в j-й момент Декодера_jЕго можно вычислить, то есть умножить m a на соответствующее m v, и получить средневзвешенное значение.

【Примечание】W_V, Вт_K, Вт_QДля обучения на обучающих данных необходимы три матрицы параметров.

Внимание в Трансформерах

В Transformer убирается структура RNN, и сохраняется только структура Attention, как видно из рисунка ниже, с помощью W_Kи Вт_VВычислите с m входом x кодировщика, чтобы получить m k_:iи м v_:i. использовать W_QВычислите с t вход x декодера, чтобы получить t q_:t.

Как показано на рисунке ниже, здесь для расчета веса декодера в первый момент установите K^Tс д_:1Умножьте и получите m весов a после преобразования Softmax, обозначенного как a_:1.

Как показано на рисунке ниже, здесь есть контекстная функция c для вычисления первого момента декодера._:1, умножьте и просуммируйте m весов a и m v соответственно, и средневзвешенный результат равен c_:1.

Точно так же контекстные функции Декодера в каждый момент времени могут быть рассчитаны, как указано выше. Грубо говоря с_:jЗависит от текущего входа декодера x^'_jи все входы энкодера [x₁,...,x_m].

Подводя итог, как показано на рисунке ниже, вход кодировщика — это последовательность X, а вход декодера — последовательность X.^', контекстный вектор C равен X и X^'Результат функции , где использовалась трехпараметрическая матрица W_Q, Вт_K, Вт_VВсему нужно учиться на обучающих данных.

На следующем рисунке показан процесс декодирования машинного перевода. Процесс Transformer аналогичен процессу RNN. RNN заключается в преобразовании вектора состояния h_:jВходные данные для классификатора Softmax, за исключением того, что внимание является контекстной функцией c_:jВведите в классификатор Softmax, затем случайная выборка может предсказать ввод следующего слова.

Самостоятельное внимание в «Трансформерах»

Для ввода Самовнимания требуется только одна входная последовательность X, где W используются соответственно._Q, Вт_K, Вт_Vс каждым входом x_iВыполните расчет, чтобы получить m q_:i, к_:i, v_:iтри вектора. Вес в j-й момент такой же, как и в приведенном выше методе расчета, Softmax(K^T * q_:j) может получить x в момент времени j_jЧто касается m весовых параметров всех входов X, наконец, объедините m весовых параметров с m v_:iУмножьте и суммируйте соответственно, чтобы получить вектор контекста c_:j.

Точно так же c всегда_:jможно получить таким же образом.

Подводя итог, можно сказать, что вводом является последовательность X, а контекстный вектор C является результатом функции над X и X, потому что каждый раз, когда x вычисляется_jконтекстный вектор c_j, необходимо преобразовать х_jПримите во внимание все X и сделайте расчет. Матрицы трех параметров W использовали_Q, Вт_K, Вт_VВсему нужно учиться на обучающих данных.

Ссылаться на

[1] Vaswani A , Shazeer N , Parmar N , et al. Attention Is All You Need[J]. arXiv, 2017.