Алгоритм EM (максимизация ожидания) — это метод, используемый для оценки параметров неполных наборов данных в вероятностных моделях.
Предположим, что есть две монеты A и B, используя θ А " роль = "презентация"> θA θ A для представления вероятности выпадения монеты A решкой, тогда 1 − θ А " роль = "презентация"> 1-θA 1 − θ А — вероятность того, что он окажется наизнанку. θ Б " роль = "презентация"> θB θ Б такой же.
Повторите следующие шаги пять раз:
- Случайным образом выберите одну из двух монет.
- Подбросьте монету десять раз.
Результат приведен в качестве примера на следующем изображении (где H означает лицевую сторону вверх, а T — обратную сторону вверх):
По этому результату легко вычислить θ А " роль = "презентация"> θA θ А и θ Б " роль = "презентация"> θB θ Б. На самом деле, это также идея оценки максимального правдоподобия (MLE): почему 30-кратное подбрасывание монеты A дает 24 орла и 6 решек вместо других результатов? Должно быть так, что вероятность этого результата наибольшая, затем перейдите к поиску параметров, которые делают этот результат наиболее вероятным. θ" роль="презентация">θ .
Все важные для модели случайные переменные (тип монеты, результат подбрасывания монеты) в этой задаче известны, поэтому мы называем этот параметр оценкой на основе полного набора данных.
Теперь, чтобы увеличить сложность, что, если мы не знаем, является ли монета A или B каждый раз, когда мы снимаем?
В настоящее время тип монеты является скрытой переменной, и мы разрабатываем итеративную модель для ее решения.
- Установить начальные параметры θ А 0 "роль="презентация">θ0A θ А 0 и θ Б 0 "роль="презентация">θ0B θ Б 0
- Рассчитать, является ли монета A или B для каждого выбора
Тогда мы можем вычислить, как и раньше θ" роль="презентация">θ θ равно , а затем повторяйте эти два шага до сходимости. Как показано ниже:
- Предполагая, что вероятности выпадения орла А и В равны 0,6 и 0,5 соответственно, выполните подбрасывание монеты.
- У первой монеты 5 орлов и 5 решек из 10, поэтому для этой монеты вероятность того, что она будет А, равна 0,6 ^ 5 * 0,4 ^ 5, вероятность того, что она окажется В, равна 0,5 ^ 5 * 0,5 ^ 5, и обе пропорционально, вероятность того, что эта монета А, равна 0,45, а вероятность того, что это В, равна 0,55, то в этих 5 решках можно считать, что А решкой 5*0,45=2,2 раза, а В 5 раз *0,55=2,8 раза. , и так далее.
- попросить новый θ" роль="презентация">θ θ
- Повторяйте вышеуказанные шаги до сходимости
Второй шаг состоит в том, чтобы дополнить недостающие данные, затем рассчитать распределение вероятностей, называемое E-шагом, а затем оценить параметры модели, называемые M-шагом.