Это 16-й день моего участия в августовском испытании обновлений. Узнайте подробности события:Испытание августовского обновления

Скрытая марковская модель

Скрытая марковская модель также является генеративной моделью. Это вероятностная модель, используемая для описания перехода неявного состояния системы и вероятности выполнения неявного состояния.

концепция

Что такое рецессивное состояние?

Рецессивные цепи Маркова случайным образом генерируют последовательность состояний, в которой состояния являются рецессивными, то есть состояниями, которые не могут наблюдаться внешним миром. Мы называем это рецессивным состоянием. В дальнейшем статус.

Вероятность перехода между состояниями, заданнаяМатрица вероятности перехода состояния $A$ Выражать:

A=[a_{ij}]_{N\times N} \\ a_{ij}=P(i_{t+1}=q_j|i_t=q_i),i=1,...,N;j=1,...,N

$a_{ij}$ представляет состояние в момент времени t $q_i$ существует $t+1$ переход в состояние $q_j$ Вероятность.

Что такое наблюдение?

Рецессивное состояние, т. е. каждое состояние порождает соответствующеенаблюдение, который также производит последовательность наблюдений.

Матрица вероятности наблюденияиспользовать $B$ Выражать:

B=[b_{j}(k)]_{N\times N} \\ b_j(k)=P(o_t=v_k|i_t=q_t),k=1,...,M;j=1,...,N

$b_j(k)$ представляет состояние в момент времени t $q_j$ генерировать наблюдения $v_k$ Вероятность.

Распределение вероятностей начального состояния, с $\pi$ представляет вероятность каждого состояния в начальный момент.

Фактически HMM не может наблюдать последовательность перехода состояния системы, а может наблюдать только последовательность производительности состояния системы. Модель НММ может быть представлена тройкой, т.е. $\lambda=(A,B,\pi)$ .

Условия, которые должны быть выполнены HMM:

Переход состояния должен удовлетворять марковскому свойству, то есть состояние гипотетической цепи Маркова в любой момент времени t связано только с предыдущим моментом времени и не имеет ничего общего с состояниями и наблюдениями в другие моменты времени.
Предположение о независимости от наблюдений. То есть наблюдения независимы.
Состояние должно иметь возможность приблизительно оценить.

Расчет вероятности

Учитывая модель HMM $\lambda=(A,B,\pi)$ и текущий $T$ временной ряд наблюдений $O=(o_1,...o_T)$ , вычислить вероятность появления последовательности наблюдений $P(O|\lambda)$ .

прямой алгоритм

Форвардная вероятность: учитывая модель $\lambda$ , $t$ Последовательность наблюдения за временем $o_1,...,o_t$ , а статус такой $q_i$ Вероятность. На самом деле время от $t=1$ начать отталкивать

a_t(i)=P(o_1,o_2,...,o_t,i_t=q_i|\lambda)

Вероятность наблюдения последовательности:

t=1:\; a_1(i)=\pi_ib_i(o_1),i=1,2,...,N \\ t=1,2,...,T-1:\;a_{t+1}(i)=[\sum_{j=1}^N a_t(j) a_{ji}]b_i(o_{t+1}),i=1,2,...,N \\ P(O|\lambda)=\sum_{i=1}^N a_T(i)

$a_{t+1}(i)$ текущее состояние $q_i$ существует $t+1$ форвардная вероятность во времени.

обратный алгоритм

Обратная вероятность: Точно так же, фактически, это временной ряд от $t=T$ Начните продвигаться вперед. В частности, учитывая модель $\lambda$ ,от $t+1$ время $T$ Последовательность наблюдения за временем $o_{t+1},...,o_T$ , а статус такой $q_i$ Вероятность.

Вероятность наблюдения последовательности:

t=T:\; \beta_T(i)=1,i=1,2,...,N \\ t=T-1,T-2,...,1:\; \beta_{t}(i)=\sum_{j=1}^N a_{ij} b_j(o_{t+1})\beta_{t+1}(j),i=1,2,...,N \\ P(O|\lambda)=\sum_{i=1}^N \pi_i b_i(o_1) \beta_1(i)

Используя прямую и обратную вероятности, вероятность конечной последовательности наблюдений определяется следующим образом

P(O|\lambda)=\sum_{i=1}^N\sum_{j=1}^N a_t(i)a_{ij}b_j(o_{t+1})\beta_{t+1}(j),t=1,...,T-1

данный $\lambda$ и последовательность наблюдения $O$ , состояние в момент времени t $q_i$ Вероятность:

P(i_t=q_i|O,\lambda)=\dfrac{P(i_t=q_i,O|\lambda)}{P(O|\lambda)}=\dfrac{\alpha_t(i)\beta_t(i)}{\sum_{j=1}^N\alpha_t(j)\beta_t(j)}

данный $\lambda$ и последовательность наблюдения $O$ , состояние в момент времени t $q_i$ И он находится в состоянии в момент времени t+1 $q_{j}$ Вероятность:

P(i_t=q_i,i_{t+1}=q_j|O,\lambda)=\dfrac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda)}{P(O|\lambda)}=\dfrac{\alpha_t(i)a_{ij}b_j(o_{t+1})\beta_{t+1}(i)}{\sum_{i=1}^N\sum_{j=1}^N \alpha_t(i)a_{ij}b_j(o_{t+1})\beta_{t+1}(i)}

учиться

Есть два метода обучения. Одно обучение с учителем, а другое обучение без учителя.

Различие основано на типе обучающих данных. Если обучающие данные включают в себя последовательности наблюдений и соответствующие последовательности состояний, их можно реализовать с помощью обучения с учителем, то естьОценка максимального правдоподобия; Если обучающие данные представляют собой только последовательность наблюдений, она реализуется методом обучения без учителя, то естьЭМ-алгоритм.

Цель обучения очевидна, т. е. модель $\lambda=(A,B,\pi)$ три параметра в .

Оценка максимального правдоподобия

Известно, что в обучающей выборке есть последовательности наблюдений $O$ и соответствующая последовательность состояний $I$ ,Сейчас $\{(O_1,I_1),(O_2,I_2),...,(O_s,I_s)\}$ общий $s$ правильно.

Используя метод максимального правдоподобия, можно оценить параметры модели.

вероятность перехода состояния $a_{ij}$ Его можно оценить следующим образом:

\hat{a}_{ij}=\dfrac{A_{ij}}{\sum_{j=1}^N A_{ij}},\qquad i=1,..,N;j=1,...,N

один из них $A_{ij}$ представляет образец $t$ состояние момента $i$ перейти к $t+1$ состояние момента $j$ частота возникновения. То есть сколько раз состояние появляется в выборке $i$ переход в состояние в следующий момент $j$ . Это еще проще для понимания.

а наблюдаемая вероятность $b_j(k)$ оценивается как:

\hat{b}_j(k)=\dfrac{B_{jk}}{\sum_{k=1}^M B_{jk}},\qquad i=1,..,N;j=1,...,M

в, $B_{jk}$ Указывает состояние в образце $q_j$ генерировать наблюдения $v_k$ частота.

Для вероятности начального состояния $\pi$ Оценка относительно проста и заключается в вычислении частоты появления каждого начального состояния во всех выборках.

На основе алгоритма EM

Оглядываясь назад на настройку, только в обучающих выборках $S$ длина $T$ Последовательность наблюдения за $\{O_1,...,O_s\}$ , наша цель также узнать параметры в модели.

из-за последовательности состояний $I$ неизвестно, HMM становится вероятностной моделью со скрытыми переменными:

P(O|\lambda)=\sum P(O|I,\lambda)P(I|\lambda)

Вопрос, как узнать параметры этой модели?

Ответ — алгоритм EM.

Мы знаем, что алгоритм EM делится на E шагов и M шагов.

Е шаг

E - спросить об ожиданиях. Сначала нам нужно инициализировать набор параметров $a^{(0)}_{ij},b_j(k)^{(0)},\pi_i^{(0)}$ . Затем определяется функция Q, которая является скрытой переменной $I$ Найдите нужную функцию.

Q(\lambda,\hat{\lambda})=\sum_I \log P(O|I,\lambda)P(O|I,\hat{\lambda})

$\hat{\lambda}$ представляет оценочное значение. дальше,

\begin{aligned} Q(\lambda,\hat{\lambda})&=\sum_I \log P(O|I,\lambda)P(O|I,\hat{\lambda})\\ &=\sum_I \log \pi_{i_1}b_{i_1}(o_1)a_{i_1i_2}b_{i_2}(o_2)...a_{i_{T-1}i_{T}}b_{i_T}(o_T) \;P(O|I,\hat{\lambda}) \\ &=\sum_I \log \pi_{i_1}P(O|I,\hat{\lambda})+\sum_I(\sum_{t=1}^T\log a_{i_t i_{t+1}})P(O|I,\hat{\lambda})+\sum_I(\sum_{t=1}^T\log b_{i_t} (o_t))P(O|I,\hat{\lambda}) \end{aligned}

Шаг E заключается в вычислении этой функции.

М шаг

М для максимизации. Три члена приведенного выше уравнения максимизируются соответственно.

Вот вывод с использованием метода множителей Лагранжа.Процесс немного сложный.Вы можете напрямую сослаться на содержание книги и не будем здесь распространяться.

Наконец, оценочные значения параметров могут быть решены:

\pi_i=\dfrac{P(O,i_1=i|\hat{\lambda})}{P(O|\hat{\lambda})}

a_{ij}=\dfrac{\sum_{t=1}^{T-1} P(O,i_1=i,i_{t+1}=j|\hat{\lambda})}{\sum_{t=1}^{T-1} P(O,i_1=i|\hat{\lambda})}

b_{j}(k)=\dfrac{\sum_{t=1}^{T}P(O,i_1=j|\hat{\lambda})I(o_t=v_k)}{\sum_{t=1}^{T} P(O,i_1=j|\hat{\lambda})}

Ссылаться на

Учитель Ли Ханг - "Статистические методы обучения"