«Это 15-й день моего участия в ноябрьском испытании обновлений, ознакомьтесь с подробностями события:Вызов последнего обновления 2021 г."
Введение
Первые две главы представили определение байесовской сети, а также знание части структуры байесовской сети и продолжают знакомить вас со знаниями о структуре байесовской сети сегодня. Пусть все узнают больше о байесовской сети.
Байесовская сеть
Структурное обучение, основанное на скоринговом поиске:
Алгоритм, основанный на скоринговом поиске, может быть выражен следующим образом: при наличии набора данных D={D1,D2,…,Дn}, найти структуру G* в пространстве поиска такую, что:
где Gn — множество переменных V={X1,X2,X3,…,ИКСn} Все возможные структуры в пространстве поиска DAG.
Обучение структуры, основанное на скоринговом поиске, рассматривает все возможные структуры как область определения, критерий измерения качества конкретной структуры рассматривается как скоринговая функция, а процесс нахождения наилучшей структуры рассматривается как задача нахождения наилучшей структуры. оптимальное значение скоринговой функции на области определения. С алгоритмической точки зрения необходимо определить подходящую стратегию поиска и функцию оценки для измерения соответствия DAG данным. Пространство поиска можно разделить на три категории: пространство DAG, пространство классов эквивалентности и пространство порядка узлов. Хотя пространства поиска разные, все они разделены на два этапа: идентификация родительского множества и оптимизация структуры. На сегодняшний день большинство исследований сосредоточено на структурной оптимизации.
Метод, основанный на скоринговом поиске, рассматривает проблему структурного обучения как задачу оптимизации.Не принимая во внимание эффект обучения и эффективность, для структурного обучения можно использовать различные существующие алгоритмы оптимизации. Только для алгоритмов с низкой эффективностью обучения можно использовать комбинацию двух алгоритмов.
Структурное обучение на основе гибридного поиска:
Изучение структуры гибридного поиска сочетает в себе преимущества первых двух: сначала используется преимущество высокого статистического анализа и эффективности обучения для уменьшения размера пространства сетевой структуры, затем используется оценка для поиска в пространстве сетевой структуры и, наконец, находит оптимальную структуру сети.
точный алгоритм
Алгоритм обучения приближенной структуры может найти только локальное оптимальное решение или структуру сети, близкую к оптимальному решению, и не может гарантировать оптимальное решение. Из-за фиксированного порядка личности n переменных разложимость оценок позволяет эффективно оптимизировать все DAG, совместимые с порядком, поэтому точный метод обучения структурного обучения появляется по мере необходимости. Точные алгоритмы можно разделить на: целочисленное линейное программирование (Programming, ILP), алгоритм A* и динамическое программирование (Dynamic Programming, DP).
Алгоритм обучения структуры BN при неполных данных:
Все методы изучения структуры BN требуют, чтобы данные были полными. Неполные данные приведут к двум проблемам: 1. Функция скоринга больше не имеет разложимого вида, и локальный поиск не может быть выполнен 2. Некоторые статистические факторы не существуют, и структуру сети нельзя оценить напрямую.
Для неполных наборов данных наиболее классическим алгоритмом изучения структуры BN является алгоритм максимизации структурных ожиданий (SEM). Метод выполняет двухэтапный итерационный процесс: 1. E-шаг: вычислить статистику текущего набора данных и использовать ожидаемое значение или модель в текущей байесовской сети для завершения данных 2. M-шаг: использовать завершенные данные Набор выполняет алгоритм обучения структуры BN, пока не сойдется.
Обучение байесовским параметрам
оценка максимального правдоподобия
Оценка максимального правдоподобия — это статистический метод, основанный на принципе максимального правдоподобия, который представляет собой применение теории вероятностей в статистике. Оценка максимального правдоподобия предоставляет способ оценить параметры модели с учетом данных наблюдений, то есть: «модель задана, параметры неизвестны». С помощью нескольких экспериментов, наблюдения за результатами и использования результатов экспериментов для получения определенного значения параметра можно максимизировать вероятность появления выборки, это называется оценкой максимального правдоподобия.
Цель состоит в том, чтобы использовать известные результаты выборки для вывода наиболее вероятного (значения параметров, которые имеют наибольшую вероятность вызвать такой результат)
Функции:
1. Проще, чем другие методы оценки;
2. Сходимость: несмещенная или асимптотически несмещенная, когда число выборок увеличивается, свойство сходимости будет лучше;
3. Если модель условной вероятности предполагаемого класса верна, обычно получаются лучшие результаты. Но если гипотетическая модель необъективна, это приведет к очень плохим оценкам.
Байесовская оценка
Начните с предварительного знания параметров и образцов. В отличие от оценки ML, параметр θ больше не рассматривается как неизвестная детерминированная переменная, а как неизвестная случайная величина.Благодаря наблюдению за i-й выборкой Di распределение вероятностей P(Dj|θ) преобразуется в апостериорную вероятность P(θ|Dj), а затем получить байесовскую оценку.
Суть байесовского оценивания заключается в получении оптимальной оценки параметра θ путем принятия байесовского решения для минимизации общего ожидаемого риска.
сообщение
В этой статье представлено изучение байесовской структуры и изучение параметров, и содержание может быть сложным и избыточным. Пользователи сети могут критиковать и исправлять.