Теорема Байеса очень полезна, будь то в области инвестиций или машинного обучения, или почти каждый день мы используем ее.
Например, ученые-биологи используют теорему Байеса для изучения того, как контролируются гены; педагоги понимают, что процесс обучения студентов на самом деле является применением правила Байеса; управляющие фондами используют правило Байеса для поиска инвестиционных стратегий; Google использует правило Байеса для находить инвестиционные стратегии; теорема Йеса улучшает функции поиска и помогает пользователям фильтровать спам; беспилотные автомобили получают данные о дорогах и трафике, собранные датчиками на крыше, и используют теорему Байеса для обновления информации, полученной с карт; искусственный интеллект, машинный перевод широко используются в по теореме Байеса...
Я рассмотрю теорему Байеса Коупа и ее размышления со следующих четырех точек зрения:
1. В чем польза теоремы Байеса?
2. Что такое теорема Байеса?
3. Примеры применения теоремы Байеса
4. Байесовское мышление в жизни
1. В чем польза теоремы Байеса? Английский математик Томас Байес впервые предложил эту теорему в статье, опубликованной в 1763 году. Газета была опубликована его другом после его смерти.
(ps: Теорема Байеса на самом деле является формулой вероятности на картинке ниже. Я не буду говорить об этой формуле здесь, а сосредоточусь на ее полезности, потому что только когда вы поймете ее прикладное значение, вы будете более заинтересованы в ее изучении. )
В этой статье он предложил теорему Байеса для решения задачи «обратной вероятности».
До того, как Байесиан написал эту статью, люди умели рассчитывать «форвардные вероятности». Что такое положительная вероятность? Например, компания Durex провела лотерею.В лотерейном ведре 10 шаров, из них 2 белых и 8 черных.Если вы вытащите белые шары, вы выиграете в лотерею. Если вы протянете руку и вытащите случайный шар, какова вероятность того, что это выигрышный шар?
По формуле расчета частотной вероятности можно легко узнать вероятность выигрыша = количество выигравших шаров (2 белых шара) / общее количество шаров (2 белых шара + 8 черных шаров) = 2/10
Если вы все еще не знаете, как ее вычислить, вы можете прочитать мой предыдущий ответ на научно-популярную вероятность: Обезьяна: Как понять условную вероятность?
А байесовец в своей статье решает задачу "обратной вероятности". Например, в приведенном выше примере мы не знаем, что находится в лотерейном ведре, но рисуем шар, и, наблюдая за цветом шара, мы можем предсказать пропорцию белых и черных шаров в ведре.
Это предсказание действительно можно сделать, используя теорему Байеса. Работа Байеса в то время была всего лишь попыткой решить проблему «обратной вероятности».
Однако позже теорема Байеса охватила теорию вероятностей и распространила ее применение на различные области. Можно сказать, что тень теоремы Байеса можно увидеть везде, где необходимо делать вероятностные прогнозы, в частности, Байес — один из основных методов машинного обучения.
Почему теорема Байеса так полезна в реальной жизни?
Это связано с тем, что проблемы реальной жизни в основном представляют собой проблемы с «обратной вероятностью», подобные приведенным выше. Поскольку большинство жизненных решений принимается с неполной информацией, в наших руках имеется лишь ограниченная информация. Поскольку исчерпывающая информация не может быть получена, мы можем только сделать хороший прогноз, насколько это возможно, с ограниченной информацией.
Например, прогноз погоды говорит, что вероятность дождя завтра 30%.Что это значит?
Мы не можем повторить завтрашний день 100 раз, как мы можем рассчитать вероятность частоты, а затем вычислить примерно 30 раз, когда будет дождь (дни с дождем / общее количество дней).
Вместо этого он может использовать только ограниченную информацию (измеренные данные о прошлой погоде), чтобы использовать теорему Байеса для предсказания вероятности дождя завтра.
Точно так же и в реальном мире каждому из нас нужны предсказания. Хотите глубже заглянуть в будущее, подумать о том, покупать ли акции, какие возможности открывает для вас политика, придумать идеи новых продуктов или просто спланировать свое питание на неделю.
Теорема Байеса родилась для решения этих проблем, она может предсказывать вероятность будущих событий на основе прошлых данных.
Байесовский образ мышления предоставляет нам эффективные способы, помогающие нам принимать решения, чтобы лучше предсказывать будущее бизнеса, финансов и повседневной жизни.
Подводя итог части 1: Чем полезна теорема Байеса?
С ограниченной информацией это может помочь нам предсказать вероятность.
Тени теоремы Байеса можно увидеть везде, где необходимо делать вероятностные прогнозы, в частности, Байес — один из основных методов машинного обучения. Например, фильтрация спама, сегментация китайских слов, проверка на СПИД, проверка на рак печени и т. д.
2. Что такое теорема Байеса? Теорема Байеса выглядит так:
Когда вы придете сюда, вы можете сказать: обезьяна, говори на человеческом языке, у меня голова пухнет, когда я вижу формулу.
На самом деле, как и вы, я не люблю формулы. Начнем с примера.
Мой друг Сяолу сказал, что его богиня улыбалась ему каждый раз, когда он его видел, и теперь он задается вопросом, любит ли он богиню?
Кто научил меня знанию статистической вероятности, давайте воспользуемся байесианством, чтобы помочь Сяолу предсказать вероятность того, что богиня любит его, чтобы Сяолу мог решить, признаваться ли богине в соответствии с вероятностью.
Сначала я анализирую предоставленную известную и неизвестную информацию:
1) Вопросы для решения: Ты нравишься богине, запиши это как событие А
2) Известные условия: Богиня часто смеется над вами, что записывается как событие B.
Следовательно, P(A|B) представляет собой вероятность того, что вы нравитесь богине (A) после события (B), когда богиня часто смеется над вами.
Из формулы нам нужно знать следующие 3 вещи:
1) Априорная вероятность
Мы называем P(A) «априорной вероятностью», которая является субъективным суждением о вероятности события A без знания события B.
В соответствии с этим примером, это субъективная оценка вероятности того, что богиня любит человека, не зная, что богиня часто улыбается вам. Здесь мы предполагаем, что она равна 50%, то есть вероятность того, что вы не нравитесь и, возможно, не нравитесь, составляет половину.
2) Функция правдоподобия
P(B|A)/P(B) называется «вероятностью», которая является поправочным коэффициентом, то есть корректировкой, вызванной новой информацией B. Функция состоит в том, чтобы преобразовать априорную вероятность (предыдущее субъективное суждение) Скорректировано, чтобы быть ближе к истинной вероятности.
Вы можете понимать функцию вероятности как корректировку предшествующей вероятности после поступления новой информации. Например, когда мы впервые увидели информацию об «искусственном интеллекте», у вас есть собственное понимание (априорная вероятность — субъективное суждение), но когда вы изучаете какие-то данные анализа или читаете какие-то книги об этом (новая информация), то вы оптимизируете ваше предыдущее понимание (функция возможности - поправочный коэффициент) на основе последней имеющейся у вас информации и, наконец, повторное понимание информации «искусственного интеллекта» (апостериорная вероятность)
Если «возможная функция» P(B|A)/P(B)>1, это означает, что «априорная вероятность» увеличивается, и вероятность события A становится больше;
Если «функция возможности» = 1, это означает, что событие B не помогает судить о возможности события A;
Если «функция правдоподобия»
Еще пример только сейчас, согласно новой информации, что богиня часто смеется над вами, я исследовал и посетил лучших друзей богини, и, наконец, обнаружил, что богиня обычно холодна и редко улыбается людям, то есть возможность произвести на вас хорошее впечатление относительно высоко (функция правдоподобия > 1). Итак, я оценил "функцию возможности" P(B|A)/P(B)=1,5 (как ее оценить, сэкономьте 10 000 слов, позже будут более подробные научные примеры)
3) Апостериорная вероятность
P(A|B) называется «апостериорной вероятностью», то есть нашей переоценкой вероятности события A после наступления события B. В этом примере после того, как богиня улыбнется вам, заново предскажите вероятность того, что вы ей нравитесь.
Введите формулу Байеса для расчета P(A|B)=P(A)* P(B|A)/P(B)=50% *1,5=75%
Поэтому богиня часто улыбается вам, и вероятность того, что вы ей понравитесь, составляет 75%. Это показывает, что богиня часто смеется над вами с сильной способностью делать выводы из этой новой информации, одновременно повышая «априорную вероятность» с 50% до «апостериорной вероятности» в 75%.
Получив значение вероятности, Сяолу уверенно опубликовал следующее признание в Weibo:
Позже я получил ответ от богини. Предсказание сбылось.
Теперь давайте снова посмотрим на формулу Байеса, и теперь вы можете понять ключевую идею этой формулы:
Сначала мы оцениваем «априорную вероятность» P(A) на основе прошлого опыта, а затем добавляем новую информацию (экспериментальный результат B), чтобы с новой информацией наш прогноз события A был более точным.
Следовательно, теорему Байеса можно понимать как следующую формулу:
Апостериорная вероятность (вероятность после появления новой информации) = априорная вероятность (вероятность) x функция правдоподобия (корректировка, вызванная новой информацией)
Основная идея Байеса такова:
Если у меня есть вся информация о предмете, я, конечно, могу рассчитать объективную вероятность (классическую вероятность).
Однако большинство жизненных решений принимается с неполной информацией, а в наших руках только ограниченная информация. Поскольку исчерпывающая информация не может быть получена, мы стараемся сделать хороший прогноз, насколько это возможно, с ограниченной информацией. То есть на основе субъективного суждения вы можете сначала оценить значение (априорная вероятность), а затем постоянно изменять его (функция правдоподобия) на основе новой наблюдаемой информации.
Графически это выглядит так:
На самом деле, AlphaGo и в этом побеждает людей.Проще говоря, AlphaGo может рассчитать максимальную вероятность выигрыша, когда он делает каждый ход, то есть после каждого хода он может обновлять себя совершенно объективно и спокойно.Величина вероятности равна совершенно не зависит от других сред.
3. Примеры применения теоремы Байеса Ранее мы представили формулу теоремы Байеса и идею, стоящую за ней. Теперь давайте возьмем случай применения, вы будете более знакомы с инструментом этого коровьего клапана.
Для следующего расчета случая нам необходимо сначала дополнить следующие знания.
1. Формула полной вероятности
Эта формула вычисляет P(B) в теореме Байеса.
Предположим, что выборочное пространство S является суммой двух событий A и A'. Например, на рисунке ниже красная часть — это событие A, а зеленая часть — событие A', которые вместе составляют выборочное пространство S.
В это время наступило событие B, как показано ниже:
Формула полной вероятности:
Это означает, что если А и А' составляют всю проблему (все пространство выборки), то вероятность события В равна вероятности А и А', умноженной на сумму условных вероятностей В для эти два события соответственно.
Когда я вижу такую сложную формулу, неважно, что я не могу ее запомнить, потому что я тоже не могу ее запомнить.Когда я использую ее ниже, я могу просто перевернуть ее здесь и посмотреть на нее.
Случай 1: Применение теоремы Байеса при вынесении суждений
Есть две одинаковые миски, в миске 1 30 шоколадок и 10 конфет, а в миске 2 20 шоколадок и 20 конфет.
Затем накройте миску. Выберите наугад миску и достаньте из нее шоколадку.
Вопрос: Какова вероятность того, что этот шоколад взят из миски 1?
Что ж, я буду использовать подпрограмму для решения этой задачи ниже, и я приведу эту подпрограмму в конце.
Шаг 1, разберите проблему
1) Решаемый вопрос: Какова вероятность того, что вынутый шоколад взят из миски № 1?
Из чаши 1 записывается как событие A1, из чаши 2 записывается как событие A2.
Вынутый шоколад записывается как событие B,
Тогда искомая задача есть P(A1|B), то есть вероятность того, что шоколад (B) вынут из миски № 1 (A1)
2) Известная информация:
В миске 1 30 шоколадных конфет и 10 фруктовых леденцов.
20 шоколадных конфет и 20 фруктовых леденцов в миске 2
Выньте шоколад
Шаг 2. Применение теоремы Байеса
1) Найдите априорную вероятность
Поскольку две миски одинаковы, до получения новой информации (перед тем, как вынуть шоколад) две миски имеют одинаковую вероятность быть выбранными, поэтому P(A1)=P(A2)=0,5 (где A1 означает из Чаша № 1, A2 означает из чаши 2)
Эта вероятность является «априорной вероятностью», т. е. вероятность появления из первой чаши и второй чаши перед экспериментом равна 0,5.
2) Найдите функцию возможности
P(B|A1)/P(B)
Здесь P(B|A1) представляет собой вероятность того, что шоколад (B) вынут из миски № 1 (A1).
Поскольку в миске 1 30 шоколадных конфет и 10 мармеладов, P(B|A1)=количество шоколадок (30)/(общее количество конфет 30+10)=75%
Теперь в байесовской формуле осталось только P(B), и ответ можно получить, только найдя P(B).
Согласно формуле полной вероятности, P(B) можно получить со следующей цифрой:
На рисунке P(B|A1) — вероятность шоколада в тарелке № 1. Мы можем легко найти ее по ранее известным условиям.
Точно так же P(B|A2) — это вероятность шоколада в миске 2, которую легко найти (данная на рисунке).
И Р(А1)=Р(А2)=0,5
Ввод этих значений в формулу - это то, что могут вычислить даже учащиеся начальной школы. Последний P(B)=62,5%
Итак, функция вероятности P(B|A1)/P(B)=75%/62,5%=1,2.
Функция правдоподобия > 1. Это означает, что возможность получения новой информации B для вещи A1 увеличивается.
3) Введите формулу Байеса, чтобы найти апостериорную вероятность
Приводя приведенные выше результаты расчета к теореме Байеса, мы можем вычислить P(A1|B)=60%
В этом примере нам нужно сосредоточиться на ограничении: шоколад схвачен. Без этого ограничения вероятность события, происходящего из чаши 1, была бы 50 %, поскольку неравномерное распределение шоколада увеличивает вероятность с 50 % до 60 %.
Теперь позвольте мне подытожить применение теоремы Байеса только что, вы будете знать это более ясно и обнаружите, что это так же просто, как ученики начальной школы решают прикладные задачи:
Шаг 1. Разберите проблему
Проще говоря, это похоже на решение прикладной задачи: сначала перечислите некоторые условия, необходимые для решения задачи, а затем вспомните, какие из них известны, а какие неизвестны.
1) Какую проблему нужно решить?
Определите, что является событием A в Байесе (обычно вопрос, который вы хотите знать), а что является событием B (обычно новая информация или результаты эксперимента).
2) Какие известные условия?
Шаг 2. Примените теорему Байеса
Шаг 3, найдите 2 показателя в формуле Байеса
1) Найдите априорную вероятность
2) Найдите функцию возможности
3) Введите формулу Байеса, чтобы найти апостериорную вероятность
Случай 2: Применение теоремы Байеса в медицинской промышленности
В каждом медицинском тесте есть ложноположительные и ложноотрицательные показатели. Ложноположительный результат означает, что вы не больны, но результаты теста показывают, что вы больны. Ложноотрицательный – это как раз наоборот, болезнь, но нормальный результат теста.
Даже если тест точен на 99 процентов, врачи поставят неправильный диагноз, если будут полагаться исключительно на результаты теста. То есть в случае ложноположительных результатов анализ показывает, что вы больны, но на самом деле вы не больны.
Чтобы привести более конкретный пример, поскольку инкубационный период СПИДа очень длительный, даже если вы инфицированы, вы можете ничего не чувствовать в своем теле в течение длительного периода времени, поэтому ложноположительный результат теста на СПИД вызовет большой психологический стресс для испытуемого.
Вы можете подумать, что точность обнаружения составляет 99%, а ложные обнаружения практически ничтожны, верно? Итак, вы думаете, что у этого человека не должно быть СПИДа, верно?
Давайте посчитаем с теоремой Байеса и увидим, что ваша интуиция неверна.
Предположим, что заболеваемость равна 0,001, то есть 1 из 1000 человек заболеет. Теперь есть тест, который может проверить, есть ли у пациента заболевание, и его точность составляет 0,99, то есть, если у пациента действительно есть заболевание, вероятность его положительного результата составляет 99%. У него 5% ложноположительных результатов, что означает, что у него есть 5% шанс быть положительным, если пациент не болен.
Теперь есть пациент, у которого результат теста положительный, какова вероятность того, что он действительно болен?
Хорошо, я знаю, что тебе тяжело с этим большим толчком, и мне тоже. Но разве у нас нет байесовской шаблонной процедуры, давайте начнем.
Шаг 1, разберите проблему
1) Вопросы, которые необходимо решить: Какова вероятность того, что результат теста пациента окажется положительным?
Положительный результат теста больного (новая информация) фиксируется как событие В, его заболевание регистрируется как событие А,
Тогда задается вопрос P(A|B), то есть вероятность того, что результат теста пациента будет положительным (B), он заболеет (A)
2) Известная информация
Частота этого заболевания составляет 0,001, т.е. Р(А)=0,001.
Реагент может проверить, болен ли пациент, с точностью 0,99, то есть, если пациент действительно болен (A), он имеет 99% шанс быть положительным (B), поэтому P(B|A)= 0,99
Ложноположительный результат для реагента составляет 5%, что означает, что он имеет 5%-й шанс быть положительным, если пациент не болен. Мы записываем болезнь как событие А, тогда отсутствие болезни противоположно событию А, записанному как А', поэтому это предложение можно выразить как P(B|A')=5%
2. Примените теорему Байеса
1) Найдите априорную вероятность
Частота заболевания составляет 0,001, т.е. Р(А)=0,001.
2) Найдите функцию возможности
P(B|A)/P(B)
Среди них P (B | A) представляет вероятность того, что реагент положительный, когда пациент действительно болен (A). Из предыдущих известных условий мы уже знаем, что P (B | A) = 0,99.
Теперь ответ можно найти, только найдя P(B). Согласно формуле полной вероятности, P(B)=0,05094 можно получить с помощью следующего рисунка
Таким образом, функция вероятности P(B|A)/P(B)=0,99/0,05094=19,4346
3) Введите формулу Байеса, чтобы найти апостериорную вероятность
Мы получили потрясающий результат, P(A|B) равняется 1,94%.
Другими словами, точность скрининга достигла 99%, а вероятность заболеть (положительно) по результатам медицинского осмотра составляет всего 1,94%.
Вы можете сказать, что больше не будете верить в эти раскрученные технологии, вы скажете, что точность скрининга настолько высока, а результаты скрининга бесполезны для диагностики заболеваний, зачем нужна медицинская техника?
Да, это то, что говорит нам байесовский анализ. Возьмем в качестве примера СПИД.Поскольку возникновение СПИДа является действительно маловероятным событием, когда мы проводим скрининг на СПИД для большой группы людей, хотя уровень точности составляет 99%, все равно будет значительное число людей, которые СПИД диагностирован из-за неправильного диагноза. , численность этой части населения даже превышает численность реальных больных СПИДом.
Вы, должно быть, спрашиваете, как скорректировать измерение для такого высокого ошибочного диагноза?
Причина такого ненадежного ошибочного диагноза заключается в том, чтобы без разбора обследовать большую группу людей, независимо от того, насколько точны измерения, потому что количество нормальных людей намного больше, чем фактическое количество пациентов, поэтому помехи, вызванные ошибочным диагнозом, очень высоки. , большой.
Согласно теореме Байеса мы знаем, что увеличение априорной вероятности может эффективно улучшить апостериорную вероятность.
Поэтому решение очень простое, то есть сначала заблокировать подозрительных людей, например 10 человек, у которых есть проблемы при проверке 10 000 человек, а затем повторить проверку самостоятельно. Поскольку вероятность ложного обнаружения при двух последовательных медицинских осмотрах у нормальных людей крайне мала, точность отсеивания реальных больных очень высока, из-за чего при обнаружении многих заболеваний часто направляют в независимые учреждения для многократных обследований.
Вот почему людям с положительным результатом теста на ВИЧ в первый раз необходимо пройти второй тест, а тех, у кого все еще положительный результат во второй раз, необходимо отправить в национальную лабораторию для третьего теста.
Как пример в книге "Правда в медицине", предполагая тест на ВИЧ, для каждого положительного результата теста есть только 50% вероятность того, что пациент действительно заражен вирусом. Однако, если врачи обладают предварительными знаниями и сначала отсеивают некоторых пациентов с высоким риском, а затем просят этих пациентов пройти тестирование на ВИЧ, точность теста может быть увеличена до 95%.
Случай 4: байесовский спам-фильтр
Спам — это головная боль, от которой страдают все пользователи Интернета. Пик глобального спама пришелся на 2006 год, когда 90% всех электронных писем были спамом, а в июне 2015 года доля глобального спама впервые упала ниже 50%.
Первоначальная фильтрация спама основывалась на статических ключевых словах и некоторых условиях оценки.
В 2002 году Пол Грэм предложил использовать «байесовский вывод» для фильтрации спама. Он сказал, что эффект от этого невероятный. 1000 спам-писем можно отфильтровать из 995 без единого ложного срабатывания.
Поскольку типичные спам-слова появляются в спаме с большей частотой, они обязательно будут распознаны при выполнении байесовских вычислений. Затем используйте 15 наиболее частых спам-слов для расчета совместной вероятности.Если результат совместной вероятности превышает 90%, это будет означать, что это спам.
Большое количество переписанного спама можно идентифицировать с помощью байесовского фильтра с очень низким уровнем ложных срабатываний. Даже не требуется, насколько точна исходная величина, точность будет постепенно приближаться к реальной ситуации в последующих расчетах.
(ps: если вы оставите сообщение и захотите узнать больше об этих знаниях, я напишу статью, чтобы ответить вам позже)
4. Байесовское мышление в жизни Теорема Байеса работает во многом подобно человеческому мозгу, поэтому она лежит в основе машинного обучения.
Если вы внимательно понаблюдаете за способностью детей узнавать новое, вы обнаружите, что многие вещи можно узнать, просто взглянув на них один раз. Например, мой 3-летний племянник видел, как я отжимаюсь, и сделал это один раз, хоть движения и не были стандартными, но все же очень похожими.
Точно так же я говорю ему новое слово, он сначала не знает, что это слово означает, но может сделать предположение (предварительная вероятность/субъективное суждение), исходя из ситуации в данный момент. Всякий раз, когда у него будет возможность, он будет произносить это слово по разным поводам и следить за вашей реакцией. Если я скажу ему правильное, он еще больше запомнит значение слова, а если я скажу ему неправильное, он соответствующим образом подстроится. (функция правдоподобия/поправочный коэффициент). После таких повторяющихся догадок, проверок и корректировок субъективных суждений начинается процесс байесовского мышления.
Точно так же мы, взрослые, используем байесовское мышление для принятия решений. Например, когда вы и богиня болтаете, если другая сторона говорит слово «хотя», вы, вероятно, догадываетесь, что другая сторона скажет «но» в 90% случаев. Наш мозг как бы рождается с теоремой Байеса, то есть у нас есть субъективные суждения (априорная вероятность), основанные на жизненном опыте, а затем вносим исправления (функция возможности) на основе сбора новой информации, и, наконец, делаем предсказание с высокой вероятностью. (апостериорная вероятность).
На самом деле этот процесс представляет собой процесс принятия решений мозгом, показанный на рисунке ниже:
Поэтому, когда дело доходит до предсказания в жизни, использование байесовского мышления может повысить вероятность предсказания. Вы можете предсказать в 3 шага:
1. Разбейте проблему
Проще говоря, это похоже на то, как учащиеся начальной школы решают текстовые задачи: какую задачу нужно решить в первую очередь? Каковы известные условия?
- дать субъективное суждение
Это не догадка, а субъективное суждение, основанное на собственном опыте и знаниях.
3. Собирайте новую информацию и оптимизируйте субъективные суждения
Получайте актуальную информацию о проблеме, которую вы пытаетесь решить, а затем используйте новую информацию, которую вы получаете, чтобы постоянно корректировать субъективное суждение на шаге 2. Если новая информация соответствует этому субъективному суждению, вы повышаете доверие к субъективному суждению, а если нет, то уменьшаете доверие к субъективному суждению.
Например, когда мы впервые увидели информацию «вызвал ли искусственный интеллект человеческую безработицу», у вас было собственное понимание (субъективное суждение), но когда вы узнали какой-то анализ данных или прочитали последние результаты исследований в этой области (новая информация) , затем вы оптимизируете свое предыдущее понимание (коэффициент корректировки) на основе последней имеющейся у вас информации и, наконец, заново понимаете информацию об «искусственном интеллекте» (апостериорная вероятность). Вот что сказал Ху Ши: «Смелые предположения, тщательная проверка».
Дополнение к основам вероятности:
Использованная литература:
Видео YouTube на английском языке "Томас Байес: вероятность успеха"
Видео YouTube на английском языке «Все, что вы когда-либо хотели знать о теореме Байеса, но боялись спросить».
Байесовский спам-фильтр:www.paulgraham.com/spam.html
Вики по байесовской фильтрации спама:En. Wikipedia.org/wiki/naive_…
Байесовский вывод и его интернет-приложение (1)
Призрак статистики за газетами федералистов