[Основы машинного обучения] Полная интерпретация наивных байесовских классификаторов

【Базовые знания】

【Совместная вероятность】 Представляет вероятность одновременного возникновения двух событий. Совместная вероятность A и B выражается как P(AB) или P(A,B).

【Условная возможность】 Условная вероятность относится к вероятности того, что событие А произойдет при тех же условиях, что и событие В.

P(A|B)=P(A,B)/P(B)

【Формула полной вероятности】 Если события A1, A2, ... образуют полную группу событий и все имеют положительную вероятность, то для любого события B выполняется следующая формула:

[Значение байесовской формулы]

Если вы хотите понять Наивного Байеса, вы должны сначала понять, что такое формула Байеса. Формула Байеса в основном описывает отношение между двумя условными вероятностями, а именно отношение между P(A|B) и P(B|A).

P(A|B)=P(A)*P(B|A)/P(B)

В этой формуле это эквивалентно тому, что мы, наконец, хотим узнать вероятность события A, происходящего при условии события B,

P(A): априорная вероятность события A, то есть базовое суждение о событии при отсутствии каких-либо условий.

P(A|B): апостериорная вероятность, то есть вероятность того, что событие A произойдет при условии B.

P(B|A)/P(B): Это эквивалентно поправочному коэффициенту, так что априорная вероятность корректируется для получения апостериорной вероятности.Когда эта часть равна 1, это означает, что добавление события B бесполезно для оценки возможности A. Тест равен апостериорному. Когда он больше 1, это означает, что вероятность события А увеличивается из-за добавления события Б.

【Наивный принцип Байеса】

Откуда слово наивный, ведь в этом классификаторе мы предполагаем, что каждый признак условно независим при определении категории, что делает байесовский простым и наивным, но ценой некоторой точности классификации ценой сексуальности, потому что мы не может гарантировать, что отдельные признаки действительно полностью некоррелированы. Следовательно, Наивный Байес больше подходит для моделей классификации со слабой корреляцией между признаками.

Поскольку мы предполагаем условную независимость между каждым признаком при определении категории, то при наличии n признаков

Фактически, наивный байесовский классификатор должен смотреть на вероятность того, что данные принадлежат каждому классу с учетом признака x, и выбирать тот, который имеет наибольшую вероятность, в качестве окончательного класса.

Таким образом, окончательным классификатором является формула 4.7.Поскольку часть знаменателя одинакова для фиксированного x независимо от того, вычисляется ли y=c1 или y=cn, окончательный результат зависит от числителя.

Принцип максимизации апостериорной вероятности эквивалентен минимизации ожидаемой ошибки, и процесс доказательства выглядит следующим образом:

【Например】

Если вы думаете, что уже поняли, приведите пример:

【Процесс ответа】

【Вопросы для размышления】

В чем разница между Наивным Байесом и Деревом решений в разделении пространства признаков?

Для ответа обратитесь к этой статье моего братаНаивный байесовский

Поделитесь хорошим разговором