1. Интуитивное понимание случайного поля Маркова

2. Некоторые основные понятия

2.1 Неориентированный граф

В неориентированном графе A, B, C и D являются вершинами, а линии, соединяющие вершины, называются ребрами.

2.2 Карта вероятностей:

использоватьрисуноквыражатьРаспределения вероятностейПуть. Каждый узел графа представляет собойСлучайные переменные, который связан сбоковая сторонаОн представляет собой вероятностную зависимость между случайными величинами. так,рисунокпредставляет совместное распределение вероятностей. Возьмите приведенный выше рисунок в качестве примера с совместным распределением вероятностей P(Y) ,даОдна группаслучайная величина, то на графике узел А представляет собой случайную величину Y_A ,Узел Аиузел Bизбоковая сторонавыражатьслучайная величина Аислучайная величина Взависимости между.

Неориентированные графы представляют три свойства Маркова:
- Попарная марковость
  Узлы u и v не связаны друг с другом, все остальные узлы отмечены как O, а соответствующие им случайные величины равныи. На данный момент: в данное времягруппа случайных величинв случае,условная независимость, это

локальное марковское свойство
Возьмите любой узел на графике и запишите связанные с ним узлы как W, O — все точки, кроме v и W, а v — случайная величина., W означает, что группа случайных величин, O представляет группу случайных величинтогда: даногруппа случайных величинв случае,условная независимость, это

\begin{align} P(Y_v, Y_O|Y_W)&=P(Y_v|Y_W) P(Y_O|Y_W)\\\\ \Rightarrow \frac{P(Y_v, Y_O, Y_W)}{P(Y_W)}&=P(Y_v|Y_W) \frac{P(Y_O, Y_W)}{P(Y_W)}\\\\ \Rightarrow \frac{P(Y_v, Y_O, Y_W)}{P(Y_O, Y_W)}&=P(Y_v|Y_W)\\\\ \Rightarrow P(Y_v| Y_O, Y_W)&=P(Y_v|Y_W) \end{align}

глобальное марковское свойство
В графе множества A и B — это любые множества узлов, разделенные множеством C, и соответствующиегруппа случайных величинсоответственно, то при этом условии предполагается, чтогруппа случайных величинсостояние,группа случайных величиндаусловная независимостьиз.

2.3 Вероятностная графическая модель:

Если совместное распределение вероятностейудовлетворитьПопарные, локальные или глобальные марковские свойства, то совместное распределение вероятностей равноВероятностные модели неориентированных графов (марковские случайные поля).

Клики и максимальные клики в вероятностных графических моделях:

в неориентированном графелюбойПодмножество узлов, в котором оба узла соединены ребром, называетсягруппа, например, на рисунке ниже, предполагая случайную величину 1,2

,но $\left \{Y_1,Y_2 \right \}$ представляет собойгруппа, $\left \{Y_1,Y_4 \right \}$ Не образует группу.

В этот момент перейдите кгруппаПрисоединяйсялюбойУзел, если множество не удовлетворяетгруппаусловие, то оно вызывается перед присоединением к узлугруппазасамая большая группа. Например, чтобы установить $\left \{Y_1,Y_2 \right \}$ Присоединяйся Y_2 , все еще устраиваетгруппасостояние, продолжайте присоединяться к узлу Y_4 ,так как Y_1 не со Y_4 подключен, так что $\left \{Y_1,Y_2, Y_3 \right \}$ засамая большая группа.

Факторинг в вероятностных графических моделях

Прежде чем говорить об этой проблеме, давайте посмотрим на разницу между байесовской моделью и вероятностной графической моделью:

дваБайесовская модель

Совместная вероятность байесовской сети 1

Байесовская сеть 2 является неверной сетью, так как согласно формуле имеем

P(A,B,C)=P(B|A)P(C|B)P(A|C) =P(B,C|A)P(A|C)=P(ABC|C)

Вероятностная графическая модель: Но в вероятностных графических моделях по-другому.
кто тоНайдите функцию, которая может составить карту вероятностей всамая большая группаОни имеют:

P(A,B,C,D,E)\propto \Psi(A,B)\Psi(B,C)\Psi(B,D)\Psi(C,E)\Psi(D,E)

Факторинг в вероятностных графических моделях: представляет совместное распределение вероятностей на карте вероятностей каксамая большая группаФункция от случайной величины в виде оценки.

\begin{align} P(Y)=&\frac{1}{Z} \prod_{C}\Psi _C(Y_C) \tag{2.1}\\ Z=&\sum_{Y}\prod_{C}\Psi _C(Y_C) \tag{2.2} \end{align}

где C — наибольшая клика неориентированного графа, Y_C - случайная величина, соответствующая узлу C, $\Psi _C(Y_C)$ дапотенциальная функция, определяется на Cстрого положительная функция, произведение выполняется по всем максимальным кликам неориентированного графа.

Отличие вероятностных графических моделей от байесовских сетей

цепная модель Обратите внимание, что в вероятностной графической модели $\Psi (A,B)$ и $\Psi (B,C)$ Не обязательно только соответствие на рисунке.
поделиться родителем
поделиться дочерним узлом Байесовская сеть:

в соответствии сПопарная марковостьОпределения , A и B на этом рисунке не зависят друг от друга, поэтому уравнения, перечисленные в правой части рисунка, в этом случае не выполняются. В настоящее время для расчета совместной вероятности ее необходимо изменить в виде следующей фигуры:

2.4 Резюме

Отношения между группами в марковском случайном поле независимы.
Байесовская сетьне равноМарковское случайное поле

3. Теорема Хаммерсли-Клиффорда.

Теорема Хаммерсли-Клиффорда показывает, почему совместное распределение вероятностей неориентированных графов P(Y) может быть выражена в виде формулы (2.1) и (2.2) . Конкретный процесс доказательства здесь.

использованная литература

Галантерея|Как легко и весело понять условное случайное поле (CRF)?
Introduction to Conditional Random Fields
Proof of Hammersley Theorem

1. Интуитивное понимание случайного поля Маркова

2. Некоторые основные понятия

2.1 Неориентированный граф

В неориентированном графе A, B, C и D являются вершинами, а линии, соединяющие вершины, называются ребрами.

2.2 Карта вероятностей:

Неориентированные графы представляют три свойства Маркова:

2.3 Вероятностная графическая модель:

Клики и максимальные клики в вероятностных графических моделях:

Факторинг в вероятностных графических моделях

Отличие вероятностных графических моделей от байесовских сетей

2.4 Резюме

3. Теорема Хаммерсли-Клиффорда.

использованная литература