Word2Vec

Это 22-й день моего участия в августовском испытании обновлений. Узнайте подробности мероприятия: Испытание августовского обновления

В задачах обработки естественного языка в качестве основной единицы обычно используются слова.Например, если мы хотим проанализировать настроение предложения «Я был в штате Вашингтон», общая практика состоит в том, чтобы сначала разделить предложение на слово.我,去过,华盛顿州, так как нейронная сеть не может обрабатывать слова, нам нужно каким-то образом преобразовать эти слова в векторы слов. Вектор слова — это вектор, используемый для представления слова, и его также можно рассматривать как вектор признаков слова. Техника сопоставления слов с реальными векторами доменов также называется встраиванием слов.

Почему бы не использовать горячие векторы

Предположим, что количество различных слов в словаре равно $N$ , каждое слово может суммироваться от 0 до $N-1$ Взаимооднозначное соответствие последовательных целых чисел. Предположим, что соответствующее целое число слова представлено как $i$ , чтобы получить прямое векторное представление слова, мы создаем полностью нулевую длину $N$ , и преобразовать его в первый $i$ установить бит 1

Однако использование векторов горячих слов не является хорошим выбором. Одна из основных причин заключается в том, что вектор горячих слов не может выражать сходство между разными словами, например, косинусное сходство вектора горячих слов любой пары слов равно 0.

В 2013 году команда Google выпустила инструмент word2vec. Инструмент word2vec в основном содержит две модели:модель со скип-граммомиНепрерывный мешок слов (сокращенно CBOW)и два метода эффективного обучения:отрицательная выборкаиИерархический софтмакс (иерархический софтмакс). Стоит отметить, что вектор слов word2vec лучше выражает сходство и аналогию между разными словами.

Модель слова «прыгать»

В модели пропуска слов мы используем слово, чтобы предсказать окружающие его слова в текстовой последовательности. Например, дана текстовая последовательность «тот», «мужчина», «ударил», «его», «сын». Если задать размер фонового окна равным 2, то модель скачкообразного изменения слов будет учитывать при заданном «попадании» вероятность генерации соседних слов «тот», «мужчина», «его», «сын» (в этом примере « хит"" называется центральным словом, "тот", "мужчина", "его", "сын" называются фоновыми словами), а именно

P(\text{the},\text{man},\text{his},\text{son}\mid \text{hit})

Предполагая, что генерация фоновых слов не зависит друг от друга при заданном центральном слове, приведенную выше формулу можно переписать как

P(\text{the}\mid \text{hit})·P(\text{man}\mid \text{hit})·P(\text{his}\mid \text{hit})·P(\text{son}\mid \text{hit})

Опишем модель пропуска слов. Предположим, что размер словаря $|V|$ , мы связываем каждое слово в словаре с 0 до $|V|-1$ Однозначное соответствие целых чисел: набор словарных индексов $V=\{0,1,...,|V|-1\}$ . Целое число, соответствующее слову в словаре, называется индексом слова при длине $T$ текстовая последовательность, $t$ слово для момента $w^{(t)}$ . Когда размер временного окна $m$ , модель пропуска слов должна быть максимизированаВероятность создания фонового слова для любого центрального слова:

\ prod_ {t = 1} ^ T {\ prod_ {-m≤j≤m, \ j \ neq 0} {P (w ^ {(t + j)} \ mid w ^ {(t)})}}

Оценка максимального правдоподобия приведенной выше формулы эквивалентна минимизации следующей функции потерь

-\frac{1}{T}\sum_{t=1}^{T}\sum_{-m≤j≤m,\ j\neq 0}\log P(w^{(t+j)}\ середина ш ^ {(т)})

мы можем использовать $\boldsymbol v$ вектор слова, представляющий заглавное слово, $\boldsymbol u$ Векторы слов, представляющие фоновые слова. Другими словами, для индекса в словаре как $i$ слово, которое само имеет два вектора $\boldsymbol {v}_i$ и $\boldsymbol{u}_i$ В процессе расчета выбираются разные векторы слов в соответствии с их разными ролями.Эти два вектора всех слов в словаре являются параметрами, которые должна изучить модель скачкообразного изменения слов.. Чтобы внедрить параметры модели в функцию потерь, нам нужно выразить вероятность того, что центральное слово в функции потерь генерирует фоновое слово, используя параметры модели. Предполагается, что вероятности заглавных слов не зависят друг от друга. данное заглавное слово $w_c$ Индекс в словаре $c$ , фоновое слово $w_o$ Индекс в словаре $o$ , вероятность того, что центральное слово в функции потерь генерирует фоновое слово, может быть определена с помощью функции softmax:

P(w_o|w_c)=\frac{\exp(\boldsymbol{u}_o^T\boldsymbol {v}_c)}{\sum_{i\in V}\exp(\boldsymbol{u}_i^T\boldsymbol{v}_c)}

Когда длина последовательности $T$ При увеличении мы обычно случайным образом выбираем меньшую подпоследовательность для вычисления функции потерь и используем SGD для оптимизации этой функции потерь. Путем вывода мы можем вычислить логарифм вероятности генерации приведенной выше формулы относительно центрального вектора слова $\boldsymbol {v}_c$ Градиент:

\begin{aligned} \frac{\partial \log P(w_o\mid w_c)}{\partial \boldsymbol{v}_c}&=\frac{\partial}{\partial \boldsymbol{v}_c}\log\frac{\exp(\boldsymbol{u}_o^T\boldsymbol{v}_c)}{\sum_{i=1}^{|V|}\exp(\boldsymbol{u}_i^T\boldsymbol{v}_c)}\\&=\underbrace {\frac{\partial}{\partial \boldsymbol{v}_c} \log \exp(\boldsymbol{u}_o^T\boldsymbol{v}_c)}_1-\underbrace{\frac{\partial}{\partial \boldsymbol{v}_c}\log \sum_{i=1}^{|V|}\exp(\boldsymbol{u}_i^T{\boldsymbol{v}_c})}_2 \end{aligned}

Первая часть вывода

\frac { \partial} {\partial \boldsymbol{v}_c} \color{red}{\log \exp (\boldsymbol{u}_o^T \boldsymbol{v}_c) } = \frac { \partial} {\partial \boldsymbol{v}_c} \color{red}{\boldsymbol{u}_o^T \boldsymbol{v}_c} = \mathbf{\boldsymbol{u}_o}

Вторая часть вывода

\begin{aligned} \frac { \partial} {\partial \boldsymbol{v}_c} \log \sum_{i=1}^{|V|} \exp(\boldsymbol{u}_i^T \boldsymbol{v}_c) & = \frac{1}{\sum_{i=1}^{|V|} \exp(\boldsymbol{u}_i^T \boldsymbol{v}_c)} \cdot \color{red}{ \frac { \partial} {\partial \boldsymbol{v}_c} \sum_{x=1}^{|V|} \exp(\boldsymbol{u}_x^T \boldsymbol{v}_c)} \\ & = \frac{1}{A} \cdot \sum_{x=1}^{|V|} \color{red} {\frac { \partial} {\partial \boldsymbol{v}_c} \exp(\boldsymbol{u}_x^T \boldsymbol{v}_c)} \\ & = \frac{1}{A} \cdot \sum_{x=1}^{|V|} \exp (\boldsymbol{u}_x^T \boldsymbol{v}_c) \color{red} {\frac { \partial} {\partial \boldsymbol{v}_c} \boldsymbol{u}_x^T \boldsymbol{v}_c} \\ & = \frac{1}{\sum_{i=1}^{|V|} \exp(\boldsymbol{u}_i^T \boldsymbol{v}_c)} \sum_{x=1}^{|V|} \exp (\boldsymbol{u}_x^T \boldsymbol{v}_c) \color{red} {\boldsymbol{u}_x} \\ & = \sum_{x=1}^{|V|} \color{red} { \frac{\exp (\boldsymbol{u}_x^T \boldsymbol{v}_c)} {\sum_{i=1}^{|V|} \exp(\boldsymbol{u}_i^T \boldsymbol{v}_c)}} \boldsymbol{u}_x \\ & = \sum_{x=1}^{|V|} \color{red} {P(w_x \mid w_c) }\boldsymbol{u}_x \end{aligned}

В итоге

\frac{\partial \log P(w_o\mid w_c)}{\partial \boldsymbol{v}_c}=\boldsymbol{u}_o-\sum_{j\in V}P(w_j\mid w_c)\boldsymbol {u}_j

После получения градиента с помощью приведенного выше расчета мы можем использовать стохастический градиентный спуск для непрерывного повторения параметров модели. $\boldsymbol {v}_c$ . Другие параметры модели $\boldsymbol {u}_o$ Таким же образом можно получить итерационный метод. Наконец, для любого индекса в словаре как $i$ Слово, мы все получаем слово два набора слов для центрального слова и фоновые слова вектор $\boldsymbol {v}_i$ и $\boldsymbol {u}_i$

мешок непрерывных слов

Модель мешка слов похожа на модель скачкообразного изменения слов. Самое большое отличие от модели с прыгающими словами заключается в том, что модель с непрерывным набором словПредсказать заглавное слово со словами, окружающими текстовую последовательность с заглавным словом. Проще говоря, модель с пропуском слов использует центральное слово для предсказания окружающих слов, а модель непрерывного набора слов использует окружающие слова для предсказания центрального слова. Например, для текста «тот», «мужчина», «ударил», «его», «сын» модель мешка слов касается соседних слов «тот», «мужчина», «его». ,"son "Вероятность образования центрального слова "hit" вместе

Модель непрерывного мешка слов должна максимизировать вероятность создания любого центрального слова из фонового слова:

\prod_{t=1}^TP(w^{(t)}\mid w^{(t-m)},...,w^{(t-1)},w^{(t+1)},...,w^{(t+m)})

-\sum_{t=1}^T\log P(w^{(t)}\mid w^{(t-m)},...,w^{(t-1)},w^{(t+1)},...,w^{(t+m)})

мы можем использовать $\boldsymbol{v}$ и $\boldsymbol{u}$ Векторы, представляющие фоновое слово и центральное слово соответственно (обратите внимание, что модели символа и слова перехода различны). данное заглавное слово $w_c$ Индекс в словаре $c$ , фоновое слово $w_{o_1},...,w_{o_{2m}}$ Индекс в словаре $o_1,...,o_{2m}$ , вероятность того, что фоновое слово в функции потерь генерирует центральное слово, может быть определена с помощью функции softmax как

P(w_c\mid w_{o_1},...,w_{o_{2m}})=\frac{\exp[\boldsymbol{u}_c^T(\boldsymbol{v}_{o_1}+...+\boldsymbol{v}_{o_{2m}})/(2m)]}{\sum_{j\in V}\exp[\boldsymbol{u}_j^T(\boldsymbol{v}_{o_1}+...+\boldsymbol{v}_{o_{2m}})/(2m)]}

Аналогично, когда длина последовательности $T$ Когда он больше, мы обычно случайным образом выбираем меньшую подпоследовательность для вычисления функции потерь и используем стохастический градиентный спуск для оптимизации функции потерь.Путем дифференцирования мы можем вычислить логарифм указанной выше вероятности генерации по отношению к любому вектору фонового слова $\boldsymbol{v}_{o_i}(i=1,...,2m)$ Градиент:

\frac{\partial \log P(w_c\mid w_{o_1},...,w_{o_{2m}})}{\partial \boldsymbol{v}_{o_i}}=\frac{1}{2m}(\boldsymbol {u}_c-\sum_{j\in V}\frac{\exp(\boldsymbol u_j^T\boldsymbol v_c)}{\sum_{i\in V}\exp(\boldsymbol u_i^T\boldsymbol v_c)}\boldsymbol u_j)

Приведенная выше формула эквивалентна следующей формуле:

\frac{\partial \log P(w_c\mid w_{o_1},...,w_{o_{2m}})}{\partial \boldsymbol{v}_{o_i}}=\frac{1}{2m}(\boldsymbol {u}_c-\sum_{j\in V}P(w_j\mid w_c)\boldsymbol u_j)

примерный метод обучения

Можно видеть, что независимо от того, является ли это моделью со скачкообразным изменением слов или моделью непрерывного набора слов, стоимость вычисления градиента на каждом шаге такая же, как и у словаря. $V$ размер имеет положительную корреляцию. Очевидно, что этот метод обучения требует значительных вычислительных ресурсов, когда словарь большой. Таким образом, использование вышеуказанного метода обучения на практике затруднено. Мы можем использовать приближенные методы для расчета этих градиентов, тем самым снижая вычислительные затраты. Обычно используемые приблизительные методы обучения включаютотрицательная выборкаиПоследовательный софтмакс

отрицательная выборка

Возьмите модель пропуска слов в качестве примера, чтобы обсудить отрицательную выборку. Словарь $V$ Причина, по которой размер , появляется в целевой функции, заключается в том, что центральное слово $w_c$ Генерировать фоновые слова $w_o$ Вероятность $P(w_o|w_c)$ Используется Softmax, а softmax учитывает, что фоновым словом может быть любое слово в словаре, и это отражается в знаменателе softmax.

Мы могли бы также изменить угол, предполагая, что центральное слово $w_c$ Генерировать фоновые слова $w_o$ аппроксимируется следующими двумя независимыми совместными событиями

центральное слово $w_c$ и фоновое слово $w_o$ также появляются в окне тренировочных данных
центральное слово $w_c$ не появляется в окне обучающих данных одновременно с шумовым словом
- центральное слово $w_c$ и первое шумовое слово $w_1$ не появляются в окне тренировочных данных одновременно (шумовые слова $w_1$ Распределение по шумовым словам $P(w)$ генерируется случайным образом)
- ...
- центральное слово $w_c$ и $K$ шумовое слово $w_k$ не появляются в окне тренировочных данных одновременно (шумовые слова $w_K$ Распределение по шумовым словам $P(w)$ генерируется случайным образом)

мы можем использовать $\sigma(x)=\frac{1}{1+\exp(-x)}$ функция для выражения заглавного слова $w_c$ и фоновое слово $w_o$ Вероятность появления обоих в окне обучающих данных:

P(D=1\mid w_o,w_c)=\sigma(\boldsymbol{u}_o^T,\boldsymbol{v}_c)

Затем центральное слово $w_c$ Генерировать фоновые слова $w_o$ Логарифмическая вероятность , может быть аппроксимирована как

\log P(w_o\mid w_c)=\log[P(D=1\mid w_o,w_c)\prod_{k=1,w_k\sim P(w)}^KP(D=0\mid w_k,w_c)]

Гипотетическое шумовое слово $w_k$ Индекс в словаре $i_k$ , приведенную выше формулу можно переписать как

\log P(w_o\mid w_c)=\log\frac{1}{1+\exp(-\boldsymbol u_o^T\boldsymbol{v}_c)}+\sum_{k=1,w_k\sim P(w)}^K\log[1-\frac{1}{1+\exp(-\boldsymbol u_{i_k}^T\boldsymbol{v}_c)}]

Поэтому центральное слово $w_c$ Генерировать фоновые слова $w_o$ Функция потерь

-\log P(w_o\mid w_c)=-\log\frac{1}{1+\exp(-\boldsymbol u_o^T\boldsymbol{v}_c)}-\sum_{k=1,w_k\sim P(w)}^K\log\frac{1}{1+\exp(\boldsymbol u_{i_k}^T\boldsymbol{v}_c)}

Теперь накладные расходы на вычисление градиента для каждого шага обучения больше не связаны с размером словаря, а $K$ Линейная корреляция. когда $K$ При выборе меньшей константы стоимость вычисления градиента каждого шага отрицательной выборки также меньше.

Точно так же модель непрерывного мешка слов также может быть подвергнута отрицательной выборке. родственные фоновые слова $w^{(t-m)},...,w^{(t-1)},w^{(t+1)},...,w^{(t+m)}$

Создать заглавное слово $w_c$ Функция потерь

-\log P(w^{(t)}\mid w^{(t-m)},...,w^{(t-1)},w^{(t+1)},...,w^{(t+m)})

При отрицательной выборке это можно аппроксимировать как

-\log\frac{1}{1+\exp[-\boldsymbol{u}_c^T(\boldsymbol{v}_{o_1}+...+\boldsymbol{v}_{o_{2m}})/(2m)]}-\sum_{k=1,w_k\sim P(w)}^K\log\frac{1}{1+\exp[\boldsymbol{u}_{i_k}^T(\boldsymbol{v}_{o_1}+...+\boldsymbol{v}_{o_{2m}})/(2m)]}

Последовательный софтмакс

Иерархический softmax использует двоичное дерево. Каждый листовой узел дерева представляет собой словарь $V$ каждое слово в . каждое слово $w_i$ Соответствующий вектор слов $\boldsymbol{v}_i$ . Давайте возьмем следующий рисунок в качестве примера, чтобы описать рабочий механизм последовательных слоев softmax.

Предполагать $L(w)$ находится от корневого узла бинарного дерева до репрезентативного слова $w$ количество узлов на пути листовых узлов и установить $n(w,i)$ во-первых $i$ узел, вектор этого узла равен $\boldsymbol{u}_{n(w,j)}$ . Возьмем приведенную выше картинку в качестве примера, $L(w_3)=4$ . Затем любые слова, которые должны быть рассчитаны с помощью модели с пропуском слов и модели набора непрерывных слов. $w_i$ сгенерированное слово $w$ Вероятность:

P(w\mid w_i)=\prod_{j=1}^{L(w)-1}\sigma([n(w,j+1)=left\_child(n(w,j))]·\boldsymbol{u}_{n(w,j)}^T\boldsymbol{v}_i)

Среди них, если $x$ правда, $[x]=1$ ;Напротив $[x]=-1$

так как $\sigma(x)+\sigma(-x)=1$ , $w_i$ Вероятность появления любого слова в словаре равна 1:

\sum_{w=1}^VP(w\mid w_i)=1

Вышеприведенная формула может быть более абстрактной. Вот конкретный пример для расчета $w_i$ генерировать $w_3$ Вероятность того, что в бинарном дереве идет от корня к $w_3$ Путь нужно пройти влево, вправо и еще раз влево, так что мы получаем

P(w_3\mid w_i)=\sigma(\boldsymbol{u}_{n(w_3,1)}^T\boldsymbol{v}_i)·\sigma(-\boldsymbol{u}_{n(w_3,2)}^T\boldsymbol{v}_i)·\sigma(\boldsymbol{u}_{n(w_3,3)}^T\boldsymbol{v}_i)

Исходя из этого, мы можем использовать стохастический градиентный спуск для итеративного вычисления всех векторов слов в словаре в модели пропуска слова и модели непрерывного набора слов. $\boldsymbol{v}$ и вектор нелистовых узлов $\boldsymbol{u}$ . Вычислительная стоимость каждой итерации определяется выражением $O(|V|)$ Уменьшить до высоты бинарного дерева $O(\log|V|)$

Последний вопрос, как устроено бинарное дерево иерархического софтмакса?

Бинарное дерево Дерево Хаффмана здесь, вес - это частота встречаемости слова в корпусе