задний план
Я купил курс машинного обучения в начале года и остановился на полпути. Прошло пол года, думал, что не могу сдаться на полпути, а у ИИ большое будущее, так что надо еще продолжать учиться, взять его в середине июля и продолжить.
Изучение вычислительных задач HMM и алгоритмов их решения может быть весьма утомительным без базовых знаний о вероятности. Прерывистый, повторный вывод, и, наконец, выяснить причину и следствие формулы. Вот краткое изложение процесса вывода, опущенного в некоторых материалах, и это важные части процесса понимания для начинающих.
Проблема расчета HMM
известный: параметры модели HMM λ = [A, B, π] и последовательность наблюдений Q = {q1, q2, q3,…, qT}рассчитать: вероятность P(Q|λ) наблюдаемой последовательности Q при параметре модели λ
Формула условной вероятности
П(А|В)=П(АВ)/П(В) Условная вероятность относится к вероятности того, что событие А произойдет при условии, что произойдет событие В, то есть отношение вероятности одновременного наступления события АВ к вероятности наступления события В.
Связанный случай: Тема мягкого экзамена в 2017 г. Предположим, что в списке рисков проекта риски разделены на первый, второй и третий уровни, что составляет 10%, 30% и 60%.Менеджер проекта Сяо Ли случайным образом проверяет уровень риска, и результат не равен единице. Вероятность обнаружения риска третьего уровня в этой случайной проверке равна (2/3).
Анализ: Найдите вероятность получить на этот раз уровень 3. Известное условие состоит в том, что это не уровень 1, что указывает на то, что это уровень 3 и уровень 2, тогда общая вероятность равна 0,3 + 0,6, а общая доля уровня 3 равна 0,6/0,9.
Это объяснение относительно ясно, но это не прямое применение условной вероятности, а значение знаменателя пропорции аналогично значению условной вероятности. Не полная вероятность 1 , а вероятность наступления указанного события. Когда я посмотрел на условную вероятность, я вспомнил этот вопрос, что я сдавал экзамен в том году, и, кстати, проанализировал его.
формула полной вероятности
Формула полной вероятности определяется как:
Независимое событие Bi — это совокупность событий, комплексное событие A, полностью разделенное независимым событием B.
Затем вероятность нахождения события A можно преобразовать в нахождение кумулятивной суммы совместных вероятностей каждого независимого события Bi и A. А именно: B1, B2, B3....Bn, он составляет полную группу событий и является полным набором. Тогда для любого события A существует: P(A)=P(AB1)+P(AB2)....+P(ABn) = ∑P(ABi) , i=1,2,....n .
Формула полной вероятности, которая является важной формулой в теории вероятностей, решит проблему вероятности сложного события А и преобразует ее в сумму вероятностей простых событий Bi, которые происходят в различных ситуациях. То есть: я не знаю вероятности события А, но я знаю вероятность события А, когда происходят все события В, поэтому вероятность события А может быть косвенно получена путем накопления.
формула совместной вероятности
Совместная вероятность относится к вероятности одновременного возникновения нескольких условий, которую можно преобразовать в условную вероятность Формула совместной вероятности: П(АВ)=П(А)П(В|А)
То есть вероятность того, что события А и В произойдут одновременно, равна вероятности того, что событие А произойдет, умноженной на условную вероятность того, что событие В произойдет, если произойдет событие А.
Затем формула полной вероятности преобразуется для вычисления суммы условных вероятностей того, что A произойдет, когда произойдет каждое событие Bi: P(A)= ∑P(ABi)=∑P(Bi)P(A|Bi)
прямой расчет
Метод прямого расчета заключается в непосредственном решении условной вероятности P(Q|λ) задачи расчета, которую необходимо преобразовать в соответствии с формулой полной вероятности. Теоретическая основа процесса преобразования:Событие последовательности состояний I={i1,i2,...,iT}, так как все последовательности состояний составляют полное событие, то условная вероятность последовательности наблюдений может быть преобразована во все последовательности состояний I и последовательности наблюдений Q. Совместное сумма вероятностей.
То есть: P(Q) = ∑P(Q,I) — общая сумма вероятностей всех последовательностей состояний длины T. Следовательно, P(Q|λ) = ∑P(Q, I |λ) = ∑P(Q|I, λ)P(I|λ), вероятность появления последовательности состояний I при параметрах модели, умножается на последовательность состояний I Вероятность того, что последовательность наблюдений возникает одновременно с параметрами модели.
Формула прямой вероятности и процесс вывода
1. Определение форвардной вероятностиПри заданном λ, определяемом временем t, вероятность того, что частичная последовательность наблюдений равна q1,q2,...,qt, а состояние равно si, является прямой вероятностью. Запишем: αt(i) = P(q1,q2,....qt, st=si | λ).
2. Начальные условия для прямой вероятностиПо определению, прямая вероятность в первый момент равна α1(i)=P(q1,s1=si| λ) , учитывая модель наблюдения, состояние в первый момент есть Si и наблюдение есть q1 . Это значение легко вычислить с помощью параметрической модели HMM:α1(i) = πi * bi(q1).
То есть: «вероятность того, что начальное состояние есть Si», умноженная на вероятность ухода наблюдения, что наблюдение q1 получено из состояния i.
3. Рекуррентная формула прямой вероятностиПрямая рекурсия состоит в том, чтобы вывести значение α1(i) в первый раз вперед, вычислить αT(i), а затем аккумулировать все состояния в момент времени T, чтобы получить решение задачи расчета HMM.
Суть рекуррентности состоит в том, чтобы ввести состояние в момент времени t-1 в соответствии с определением прямой вероятности в момент времени t, а затем получить рекуррентность между прямой вероятностью в момент времени t и моментом времени t-1 в соответствии с совместной вероятностью и общей вероятностью соотношение формулы расчета.
4. Процесс рекурсии прямой вероятностиЭто формула рекурсивного вычисления, которую я видел в короткой книге,Проблема расчета HMMВ исходном тексте есть только черные формулы, и нет оснований для сокращения каждого шага.Давайте посмотрим на процесс вывода:
- Первая строка — основное определение формулы;
- Вторая строка – формула вероятности совместного состояния: совместная вероятность N событий преобразуется в совместную вероятность первых N-1 событий, умноженная на условную вероятность наступления N-го события при наступлении предыдущих N-1 событий;
- Третья строка — это результат после исключения q1-q2-....qt-1 событий, которые не имеют отношения к результатам наблюдения в момент времени t в соответствии с предположением о независимом наблюдении HMM;
- Четвертая строка основана на формуле полной вероятности: после введения состояния в момент времени t-1 исходная прямая вероятность в момент времени t преобразуется в общую сумму вероятностей всех состояний в момент времени t-1;
- Пятая строка по существу аналогична второй строке, и совместная вероятность преобразуется в условную вероятность, в середине отбрасываются условия q1, q2...qt-1, не относящиеся к состоянию в момент времени t, и в итоге получается упрощенный результат.
- Шестая строка снова основана на формуле прямой вероятности и связи между параметрами модели HMM, и, наконец, получается рекуррентная связь между временем t и временем t-1.
В этом случае алгоритм прямой вероятности преобразуется в начальное значение и рекурсивную формулу, и процесс может быть реализован в коде!
Откровение
Вывод из этого опыта обучения таков: вы не можете учиться, используя только одну информацию, но собираете дополнительные материалы по связанным ключевым словам, смотрите на них, сталкиваетесь друг с другом и учитесь на сильных сторонах друг друга. можно использовать для справки.
Для купленных руководств некоторые описания процессов относительно просты, и я нашел более подробное.Проблема расчета HMM, целых десять страниц, распечатайте его и изучите вместе, сравнивая руководства. Это четкие теоретические знания!