Краткое изложение алгоритмов машинного обучения — алгоритм EM

Ссылка из

• «Статистические методы обучения»
• Личное резюме распространенных алгоритмов машинного обучения (для интервью)
• От максимального правдоподобия к алгоритму EM
• (Алгоритм EM) Алгоритм EM

Введение

Алгоритм EM, алгоритм максимизации ожидания, используется дляОценка максимального правдоподобия или максимальная апостериорная оценка вероятностных моделей со скрытыми переменными, который обычно делится на два этапа:Первый шаг — найти математическое ожидание (Е), а второй шаг — найти максимум (М).

Если все переменные вероятностной модели являются наблюдаемыми переменными, то после получения данных можно непосредственно использовать метод максимального правдоподобия или параметры байесовской модели оценки. Однако, когда модель содержит скрытые переменные, эти методы нельзя просто использовать для оценки.EM представляет собой метод оценки максимального правдоподобия для вероятностных параметров модели, содержащих скрытые переменные.

Где применяется: смешанная гауссовская модель, смешанная наивная байесовская модель, модель факторного анализа.

вывод алгоритма

Приведенная выше формула эквивалентна определениюL (θ) нижняя граница , иEMАлгоритм на самом деле является алгоритмом, который аппроксимирует максимизацию функции логарифмического правдоподобия, непрерывно решая задачу максимизации нижней границы.

Поток алгоритма

Поток алгоритма выглядит следующим образом:

Конвергенция

Часть конвергенции в основном видна(Алгоритм EM) Алгоритм EMОкончательно вывод можно вывести, чтобы получить следующую формулу:

Функции

1. Самое большое преимущество - простота и универсальность
2. EMАлгоритм не может гарантировать нахождение точки глобального оптимума.В приложениях обычно выбирают несколько различных начальных значений для итерации, а затем сравнивают несколько полученных оценочных значений для выбора наилучшего.
3. EMАлгоритм чувствителен к начальному значению, и разные начальные значения приведут к разным оценкам параметров.

Пример использования

ЭМ-алгоритмТипичным примером являетсяМодель ГММ, которая представляет собой смешанную модель Гаусса. Модель смеси Гаусса определяется следующим образом:

Смешанная модель Гаусса относится к модели распределения вероятностей со следующей формой:

> P(y| θ)=∑ k =1 K α k ϕ(y| θ k ) >Тот середина , α k да Галстук номер , α k ≥0 ,∑ k =1 K α k =1 ;ϕ(y | θ k )да высокий Шри-Ланка Минута ткань плотный Тратить , θ k =(μ k ,о 2 k ), >ϕ (y | θ k ) =1 2 число Пи − − √ о k e xp (− ( y −μ k ) 2 2 о 2 k ) >

ϕ (y| θ k ) называется первымk Дробная модель.

Каждый образец может бытьk Генерируется гауссиана, но вероятность, генерируемая каждой гауссианой, различна, поэтому каждая выборка имеет соответствующее гауссово распределение (k Один из них) скрытой переменной в это время является некое распределение Гаусса, соответствующее каждой выборке.

Формула E-шага GMM выглядит следующим образом (рассчитайте вероятность того, что каждая выборка соответствует каждой гауссиане):

Более конкретная формула расчета:

Формула M-шага выглядит следующим образом (рассчитатьвес, среднее, дисперсияэти 3 параметра):