Частотный и байесовский

Частые считают, что, хотя параметр распределения θ, к которому относится образец неизвестен, он фиксируется и может быть отрегулирован образец.$θ$сделать оценку$\theta{\hat{}}$. Параметр байесовского представления$θ$является случайной величиной, а не фиксированным значением. Перед созданием выборки распределение θ будет задано на основе опыта или других методов.$\pi(\theta)$, которое называется априорным распределением. Затем по образцу$θ$корректировать, исправлять, записывать как$\pi(\он и она|маленький 1, маленький 2, маленький 3,...)$, называемое апостериорным распределением.

Вывод формулы Байеса

Зачем нужен наивный байесовский анализ

Предполагая, что атрибуты обучающих данных представлены n-мерным случайным вектором x, а результаты классификации представлены случайной величиной y, статистический закон x и y может быть представлен совместным распределением вероятностей P(X, Y ) P(X,Y)P(X, Y) описание, каждая конкретная выборка ( xi , yi ) (x_i,y_i)(x я ​ ,г я ​ ) может быть порожден независимо и тождественно P ( X , Y ) P ( X , Y ) P ( X , Y ) Отправной точкой байесовского классификатора является совместное распределение вероятностей, которое можно получить по свойствам условной вероятности. P ( X , Y ) = P ( Y ) * P ( X ∣ Y ) = P ( X ) * P ( Y ∣ X ) P (X, Y) = P (Y) * P (X | Y) = P (X)*P(Y|X)P(X,Y)=P(Y)∗P(X∣Y)=P(X)∗P(Y∣X) в P ( Y ) P (Y) P (Y): вероятность появления каждой категории, это априорная вероятность. P ( X ∣ Y ) P (X | Y) P (X ∣ Y): вероятность появления различных атрибутов в данной категории, вероятность вероятности Априорную вероятность легко рассчитать, просто нужно подсчитать количество выборок разных категорий, а вероятность вероятности зависит от количества атрибутов, и ее трудно оценить. Например, каждая выборка содержит атрибуты 100, и каждый атрибут может иметь значения 100. Для каждого результата классификации вычисляемая условная вероятность составляет 1002=10000, что очень много. Поэтому в это время был введен наивный байесовский метод.

Что такое Наивный Байес

Наивный Байес плюс наивный означает более простой Байес. Наивный Байес предполагает, что различные атрибуты выборки удовлетворяют допущению условной независимости, и на этом основании применяет теорему Байеса для выполнения задач классификации.Для данного элемента x, подлежащего классификации, проанализируйте апостериорную вероятность появления выборки в каждой категории и выберите категорию с наибольшей апостериорной вероятностью в качестве категории, к которой принадлежит x.Для решения задачи о том, что вероятность правдоподобия трудно оценить, необходимо ввести условиеПредположение о независимостиДопущение условной независимости гарантирует, что все атрибуты независимы друг от друга и не влияют друг на друга, и каждый атрибут оказывает независимое влияние на результат классификации. Таким образом, условная вероятность становится произведением условных вероятностей атрибутов.$P(X = x|Y = c) = P(X(1)=x(1),X(2)=x(2),...,X(n)=x(n)|Y=c ) =\ i=0∏n​P(Xj=xj∣Y=c)$Это метод Наивного Байеса.С помощью обучающего набора мы можем легко вычислить априорную вероятность P ( Y ) P (Y) P (Y) и вероятность правдоподобия P ( Y ∣ X ) P (Y | X) P (Y ∣X), поэтому мы можем найти апостериорную вероятность P ( X ∣ Y ) P(X|Y)P(X∣Y)

Пример - Арбузная книга 151 страница

Сначала у нас есть набор данных арбуза 3.0.

Мы сталкиваемся с проблемой. Являются ли следующие наборы тестов хорошими или плохими?

Сначала мы можем рассчитать предварительный вероятность

Затем вычислить условную вероятность

Затем посчитайте вероятность хороших и плохих дынь

0,063 значительно больше, так что, вероятно, это хорошая дыня.