Обучение языковой модели, нулевая вероятность и проблемы сглаживания

Когда мы обучаем языковую модель, даже если мы используем довольно большой корпус, если мы напрямую используем отношение для вычисления вероятности, большинство условных вероятностей по-прежнему равны нулю, и эта модель называется «негладкой». В практических приложениях это явление неизбежно. Гуд предложил метод оценки вероятности, который доверяет достоверной статистике и отбрасывает недостоверную статистику, и в то же время приписывает небольшую часть дисконтированной вероятности невидимым событиям (Unseen Events). Это называется оценкой Гуда-Тьюринга.

Эта идея показана на рисунке выше.Для событий, которые не появляются, мы должны считать, что они имеют вероятность появления, поэтому нам нужно вычесть часть из них из суммы вероятности, которая равна 1, и согласно Подход «чем недостовернее статистика, тем больше скидки». который: Предположим, что в корпусе слова, встречающиеся r раз, имеют$N_r$, в частности, количество невстречающихся слов равно$N_0$, размер корпуса N, то:

$N = \sum_{r=1}^{\infty}{rN_r}$

Тогда относительная частота появления r во всем корпусе равна$rN_r/N$Теперь предположим, что при относительно небольшом r его статистика может быть недостоверной, поэтому при вычислении вероятности тех слов, которые встречаются в слове r, следует использовать меньшее количество раз, т.е.$d_r$, оценка Гуда-Тьюринга рассчитывается по следующей формуле:

$d_r = (r+1).N_{r+1}/N_r$

Мы легко получаем:

$\sum_{r}{d_r.N_r=N}$

Вообще говоря, количество слов, встречающихся один раз, больше, чем количество слов, встречающихся дважды, а количество слов, встречающихся дважды, больше, чем количество слов, встречающихся три раза.Это правило называетсяЗакон Ципфа. Итак, чем больше r, тем больше слов$N_r$меньше, т.е.$N_{r+1} < N_r$. Поэтому, в целом,$d_r < r$,и$d_0 > 0$. Это присваивает малое значение невстречающемуся слову, тем самым решая проблему нулевой вероятности, в то же время снижая вероятность слова с очень низкой частотой. В практических приложениях, как правило, частота слов, время появления которых превышает определенный порог, не будет снижена.Если частота ниже этого порога, частота будет снижена, и более низкая частота будет назначена словам, которые не появляться. Частота появления таких слов таким образом оценивается как$d_r/N$. для двухкорпусного$(w_{i-1},w_i)$Оценки условной вероятности$P(w_{i-1},w_i)$можно обрабатывать таким же образом. Мы знаем, что по предыдущему слову$w_{i-1} предсказывает следующее слово$w_i$ сумма всех условных вероятностей должна быть равна 1, то есть:

$\sum{P(w_i|w_{i-1})} = 1$

Для бинарных групп с очень небольшим числом вхождений необходимо делать скидки в соответствии с Гудом-Тьюрингом. Формула выглядит следующим образом:

где T - упомянутый выше порог, обычно около 8-10,$f_{gt}()$представляет относительную частоту после оценки Гуда-Тьюринга, в то время как:

$Q(w_{i-1}) = \frac{1- \sum_{w_i seen}{P(w_{i-1}|w_i)}}{\sum_{w_i unseen}{P(w_i)}}$

Это гарантирует приведенной выше формуле, что сумма вероятностей равна 1. Этот метод сглаживания называется откатом Каца.