Мало знаний, большой вызов! Эта статья участвует в "Необходимые знания для программистов«Творческая деятельность.

Спасибо за то, что ты такой красивый и до сих пор следишь за мной, хотя я не следил, но я не буду это игнорировать?

? Напишите спереди

Если вы изучали теорию вероятностей, вам достаточно взглянуть начерное телоипримерВы, наверное, понимаете, что хочет сделать Наивный Байес?

Условная возможность

Теперь есть коробка шоколадных конфет, содержащая 16 штук, в том числе по 4 штуки черного, белого и коричневого шоколада и по 2 штуки красного и желтого шоколада. Если эти конфеты положить в коробки А и В, какова вероятность того, что из коробки А достанется темный шоколад?

? Глядя на коробку и считая, мы знаем, что в А 3 темных шоколада, а в коробке 7 шоколадок, тогда вероятность вынуть темный шоколад из А равна: $\frac{3}{7}$

Мы также можем использоватьУсловная возможностьвыражается в виде:

это означаетИзвестно, что кусочек темного шоколада находится в коробке А., его вероятность равнаШоколад черный и взят из коробки А.вероятность, деленная наШоколад из коробки Авероятность

Подсчитав, мы видим, что общее количество шоколадок равно 16, шоколадки черные и число из коробки А равно 3, количество конфет из коробки А равно 7,

P(темный шоколад∩коробка)=\frac{3}{16}

P(коробка)=\frac{7}{16}

∴P (темный шоколад | Коробка) = \ frac {\ frac {3} {16}} {\ frac {7} {16}} = \ frac {3} {7}

?Формула условной вероятности:

P(X=x|Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}

теорема Байеса

1. Теорема Байеса

Тем не менее, исходя из предыдущего вопроса:

Учитывая черный шоколад, какова вероятность того, что он был из коробки А?

Здесь формулу молекулы можно выразить, используя результаты предыдущего вопроса:

Наконец, подставив ②③ в формулу ① для расчета:

P (коробка | темный шоколад) = \ frac {\ frac {3} {16}} {\ frac {4} {16}} = \ frac {3} {4}

Известно: есть К класс с₁, с₂, ..., с_K, учитывая новый экземпляр x = (x⁽¹⁾,маленький⁽²⁾,...,Икс⁽ⁿ⁾). Q: Этот экземпляр принадлежит cth_iНасколько вероятно класс?

МолекулаУдовлетворить оба условия одновременновероятность, знаменатель равенэто состояние возникаетФормула полной вероятности

теорема Байесаза:

2. Байесовская классификация

Известно: Есть две коробки шоколадных конфет А и Б, а теперь получается черная шоколадка. В: Из какой коробки, скорее всего, этот шоколад?

$\frac{3}{4}>\frac{1}{4}$ , так что вероятность того, что он будет из коробки А, наибольшая, то шоколад, скорее всего, будет из коробки А, т.е.Байесовская классификация.

Есть К класс С₁,от₂,...,с_K, учитывая новый экземпляр x = (x⁽¹⁾,маленький⁽²⁾,...,Икс⁽ⁿ⁾) В: К какому классу относится данный экземпляр?

Мы можем рассчитать отдельно $P(Y=c_i|X=x), P(Y=c_2|X=x),... P(Y=c_k|X=x)$ значение и найти наибольшее из них. Знаменатели здесь все одинаковые, так чтоВам нужно только рассчитать молекулы по разным классам? и найти максимальное значение, чтобы определить класс, к которому он принадлежит..

argmax_{c_{i}}P(X=x|Y=c_i)·P(Y=c_i)

Наивный Байес

По сравнению с байесовским, у наивного байесовского есть предварительное условие:Предполагается, что каждый объект в точке экземпляра независим друг от друга.Этопростосмысл ?

Согласно Наивному Байесу все x⁽¹⁾,маленький⁽²⁾,....,Икс⁽ⁿ⁾независимы друг от друга, то часть молекулы $P(X=x|Y=c_i)$ можно записать как:

В конце концов, вам нужно только попросить ?:

Таким образом, классификацию наивного алгоритма Байеса можно завершить, выяснив категорию принадлежности.

Критерий максимизации апостериорной вероятности

Вопрос: Какова вероятность P того, что шоколад черный и взят из коробки A?

Из приведенной выше формулы ②,

P (коробка) называетсяаприорное распределение вероятностей, что также может быть выражено как:

P(Y=c_i), i=1,2,...,K

P (темный шоколад | Коробка) называетсяУсловное распределение вероятностей, что также может быть выражено как:

Когда условия меняются местами с P(X|Y) на P(Y|X), мы получаем теорему Байеса:

это называетсяАпостериорное распределение вероятностей(это формула теоремы Байеса)

1. Метод наивной байесовской классификации

Если есть K классов c₁,от₂,...,с_K, теперь для нового экземпляра x = (x⁽¹⁾,маленький⁽²⁾,...,Икс⁽ⁿ⁾). К какому классу относится данный экземпляр?

Формула апостериорной вероятности выше $P(Y=c_i|X=x)=\frac{P(X=x|Y=c_i)·P(Y=c_i)}{Σ_{i=1}^KP(X=x|Y=c_i)·P(Y=c_i)}=\frac{P(Y=c_i)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_i)}{Σ_{i=1}^KP(Y=c_i)\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_i)}$ , так как знаменатели одинаковые, надо вычислить только числительмаксимальное значениеВы можете найти класс, соответствующий этому экземпляру.

PS: Не пугайтесь кучи формул здесь, вы видели это раньше в Наивном Байесе, это то же самое ?

2. Функция потерь 0-1

В методе k-ближайших соседей, чтобы сформулировать правила для определения того, является ли функция классификации хорошей или плохой, нам нужно сравнить потери проблемы классификации и продолжить использовать функцию потерь 0-1 в методе Наивного Байеса. :

0-1 ~ функция потерь

L(Y,f(X))= \begin{case}1, \quad Y≠f(X) \\ 0,\quad Y = f(X) \end{case}

f (X) - функция принятия решения о классификации.

Y — соответствующая классификация, а выходное пространство — {c₁,от₂,...,с_K}

Когда они равны, подтверждается, что классификация верна и потери нет, в противном случае записывается как 1, есть потеря.

Математическое ожидание, соответствующее этой функции потерь, равно:

R(f)=E[L(Y,f(X))]

Видеть:Доктор Джейн - Максимизация апостериорной вероятности

После одной операции этоПреобразование минимизации ожидаемого риска в максимизацию апостериорной вероятности?

оценка максимального правдоподобия

Априорная вероятность $P(Y=c_k)$ оценка максимального правдоподобияда

Проще говоря, смысл этой формулы в том, чтобы посчитать c в наборе обучающей выборки пальцами ?_kСколько существует выборок, затем разделите на общее количество выборок N

Условная возможность $P(X^{(j)}=a_{jl}|Y=c_k)$ оценка максимального правдоподобияда

Смысл этой формулы таков: для вычисления вероятности признака при определенном классе условий числитель - это количество отсчетов соответствующего признака в этом классе, а знаменатель - общее количество отсчетов в этом классе

Шаги алгоритма наивного Байеса

Цель ?: Если естьточка экземпляра x, хотите найти его с помощью наивной байесовской таксономиисоответствующая категория y

Решение ?: путем максимизации апостериорной вероятности

Процесс расчета?:

round 1: Найдите априорные вероятности (оценка максимального правдоподобия)

round 2: Найдите ряд условных вероятностей (оценки максимального правдоподобия) round 3: Умножьте априорную вероятность и условную вероятность каждого типа, чтобы получить максимальное значение результата вычисления, которое является соответствующим классом

Пример объяснения

входить:Обучающий набор

вывод: точка экземпляра x=(2, S)^Tтэг класса у

Далее мы используем вышеуказанные 3 шага для расчета.

раунд 1: найти априорную вероятность

Подсчитав ?, вы узнаете, что в этом наборе данных есть 2 категории, а именно Y = 1 и Y = -1, всего 15 экземпляров.

P(Y=1)=\frac{9}{15},P(Y=-1)=\frac{6}{15}

раунд 2: найти ряд условных вероятностей

X набора данных имеет две особенности, а именно X⁽¹⁾и Х⁽²⁾, где Х⁽¹⁾Пространственные значения {1,2,3}, X⁽²⁾Значения пространства {S, M, L, L}, где каждая функция должна быть рассчитана в каждой категории:

Для категории Y=1:

Считать от 9 Y=1, X⁽¹⁾=1 Есть 2 экземпляра, тогда

P(X^{(1)}=1|Y=1)=\frac{2}{9}

По аналогии можно получить условные вероятности других признаков класса Y=1.

Для категории Y=-1:

Считать от 6 Y=-1, X⁽¹⁾=1 Есть 3 экземпляра, тогда

P(X^{(1)}=1|Y=-1)=\frac{3}{6}

По аналогии могут быть получены и другие условные вероятности признаков в классе Y=-1.

раунд 3: умножьте априорную вероятность и условную вероятность каждого типа, чтобы получить максимальное значение результата расчета, которое является соответствующим классом

Если две функции независимы друг от друга, например, x = (2, S), вычислите апостериорную вероятность для двух категорий соответственно.

Путем сравнения двух значений апостериорной вероятности обнаруживается, что апостериорная вероятность является наибольшей, когда Y = -1, поэтому y = -1.

Байесовская оценка

Если при Y=1 X не существует⁽²⁾=S точка экземпляра, тогда

то это приведет к

Это явно неправильно

Во избежание ситуации, когда значение вероятности равно 0, рассчитанному методом оценки максимального правдоподобия, байесовская оценкаАприорная вероятностьиУсловная возможностьИ числитель, и знаменатель вводят $\lambda$ ,когда $\lambda$ = 0 — оценка максимального правдоподобия.

Байесовская оценка априорных вероятностей

Байесовская оценка часто используется $\lambda$ =1, также известен каксглаживание по Лапласуилиоценка Лапласа

Байесовское оценивание условных вероятностей

Пример объяснения

Все еще основываясь на вышеуказанном вопросе, используйтеБайесовская оценкасделай это снова

входить:Обучающий набор

вывод: точка экземпляра x=(2, S)^Tтэг класса у

Все еще старые правила, три шага ?~

раунд 1: найти априорную вероятность байесовской оценки

В этом наборе данных? есть два класса Y, поэтому K = 2, и всего еще 15 экземпляров.

раунд 2: найти условную вероятность байесовской оценки

S_jКак его найти? ?

На самом деле в наборе данных X есть два признака.⁽¹⁾и Х⁽²⁾, то соответствует j=1 и j=2, где X⁽¹⁾Значения {1, 2, 3}, есть 3 вида, поэтому здесьS₁ =3, ИКС⁽²⁾Значения {S, M, L}, которые также 3 вида, поэтомуS₂ =3

Для признака X в категории Y=1⁽¹⁾С точки зрения:Проще говоря, приведенные выше формулы вводятся в $\lambda$ , который можно получить по аналогии $P(X^{(2)}=S|Y=1)$ , $P(X^{(1)}=S|Y=-1)$ , $P(X^{(2)}=S|Y=-1)$ Подождите, мы помещаем все результаты в таблицу ниже:

Например $x=(2,S)$ , вычислить апостериорную вероятность по двум категориям отдельно:

При сравнении обнаруживается, что $Y=-1$ Результат вычисления больше, поэтому y=-1

?Напишите на обороте

Изучая Наивный Байес, я понял, что это в значительной степенитеория вероятностиКонтент снова проверяется ?

Если у вас есть какие-либо вопросы, добро пожаловать на общение ~

Вы можете отправить личное сообщение на фоне публичного аккаунта:Синь Фан

Репозиторий кода содержит полный код процесса реализации Наивного Байеса и примеры scikit-learn, пожалуйста, нажмите ?git ee.com/new-month-pro…?

Использованная литература:Доктор Джейн - Наивная теорема Байеса