Основы машинного обучения — байесовский классификатор (1)

машинное обучение искусственный интеллект
Основы машинного обучения — байесовский классификатор (1)

«Это 13-й день моего участия в ноябрьском испытании обновлений. Подробную информацию об этом событии см.:Вызов последнего обновления 2021 г."

Играть в теннис, глядя на погоду, это классический случай, то есть принимать решение, играть ли в теннис, исходя из погоды.На самом деле нам несложно решить, играть ли в теннис, глядя на погоду, но если мы хотим, чтобы этому процессу принятия решений научились машины, что не так просто. Во-первых, играть в теннис или нет — это случайное событие.Вы можете пойти или не пойти.Однако, помимо субъективных намерений, вам также необходимо смотреть на объективные условия, такие как погода.Когда погода хорошая, вероятность игры в теннис относительно высока.

априори

Априорная вероятность относится к вероятности, полученной на основе прошлого опыта и анализа, отражающей ожидание определенного состояния до фактического наблюдения.

  • Например, на юге вероятность снега зимой намного меньше, чем на севере.
  • Например, у пожилых людей при появлении головной боли можно заподозрить повышенное артериальное давление.

Итак, вернемся к наблюдению за погодой и игре в теннис. Для северной зимы, поскольку здесь больше дождя и снега, а ветер на улице относительно сильный, обычно считается, что вероятность игры в теннис относительно мала. Это априорная вероятность.

∑i=1P(yi)=1\sum_{i=1} P(y_i) = 1

Однако априор имеет ограничение, которое отражается в его точности и гибкости.Например, для случайной реализации априорная вероятность всегда одинакова, например, предположение, что снег вряд ли будет идти, пока он находится на юге. . И если априорные вероятности одинаковы, правила не работают.

функциональное пространство

В априоре относительно мало информации, и мы хотим получить больше информации, чтобы обновить прогноз. Поэтому мы вводим функции, чтобы получить больше информации, наблюдая за особенностями данных, и эти функции помогают нам обновлять предыдущие.

Апостериорная вероятность

Апостериорная вероятность, то есть при заданном векторе наблюдения x вероятность определенного классаp(y∣x)p(y|x)

теорема Байеса

p(y∣x)=p(x∣y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}

максимальная апостериорная вероятность

Если решение принимается на основе максимальной апостериорной вероятности, то в качестве результата прогноза используется категория с максимальной апостериорной вероятностью.

y^=аргумент max⁡iP(yi∣x)\hat{y} = \argmax_i P(y_i|x)
if P(y0∣x)<P(y1∣x) y^=y1if P(y0∣x)>P(y2∣x) y^=y0if\, P(y_0|x) < P(y_1|x) \, \hat{y} = y_1\\ if\, P(y_0|x) > P(y_2|x) \, \hat{y} = y_0

здесьy1y_1играть в теннис иy0y_0Указывает не играть в теннис, пусть вычисляется апостериорная вероятностьP(y0∣x)<P(y1∣x)P(y_0|x) < P(y_1|x)Тогда спекулятивная вероятность — это вероятность того, что вы пойдете играть в теннис.

Оценка риска

По сути, мы даем каждой возможности (категории) каждый раз вероятность, например, играть ли в теннис, то будут рассчитаны две вероятности.P(y1∣x)P(y_1|x)Вот простое предположениеy1y_1играть в теннис, если решениеy1y_1ТакP(err∣x)=P(y0∣x)P(err|x) = P(y_0|x)В противном случае вероятность ошибки равнаP(y1∣x)P(y_1|x)

P(err∣x)=min⁡([P(y0∣x),P(y1∣x)])P(err|x) =\min([P(y_0|x),P(y_1|x)])

Например, формула полной вероятности часто используется как вероятность «причины» в задаче «искать следствие от причины». В байесовском статистическом выводе априорное распределение вероятностей для неопределенной величины — это распределение вероятностей, которое выражает степень уверенности в этой величине до учета некоторых факторов. ... неизвестные величины могут быть параметрами модели или скрытыми переменными.

Категории