Вероятность и статистика — игра в три двери и теорема Байеса

Эта статья была впервые опубликована в публичном аккаунте:TechFlow

В учебниках по теории вероятностей есть классический вопрос, который меня давно беспокоит. Много раз я думал, что понял это, но через некоторое время запутывался. Студенты, изучающие теорию вероятностей, должны знать эту задачу — знаменитую задачу трех дверей. Говорят, что раньше в Соединенных Штатах было известное варьете, и в этом шоу было три закрытых двери. У двоих из них за спиной коза, а у одного роскошная машина. Ведущий предоставит гостю сделать выбор, после того как гость сделает выбор, ведущий откроет не ту дверь и спросит у гостя: Чувак, у тебя есть шанс изменить свой выбор, хочешь им воспользоваться? Мы не будем говорить об эффекте шоу, но математика, стоящая за ним, очень интересна. Каковы шансы на победу, если мы изменим или не изменим наш выбор?

Мы анализируем его интуитивно, и он не должен влиять на нас, если мы не изменим ответ. Ведь в трех дверях один правильный ответ, а модератор исключает неправильный ответ, а значит, в оставшихся двух дверях правильный ответ. Независимо от того, изменим мы свой выбор или нет, вероятность выиграть приз за дверью должна быть один к двум. Но ответ в книге таков: если вы его не замените, вероятность выигрыша составит одну треть, а если вы его замените, то вероятность выигрыша достигнет двух третей.

Этот ответ явно противоречит нашей интуиции, поэтому нам необходимо исследовать скрытые в нем глубокие математические принципы. Фактически, это также очень важный пример в теории вероятностей для понимания условной вероятности и формулы Байеса.

Условная возможность

Условная вероятность всем знакома, мы очень рано учили ее на уроках математики.

Для краткого обзора предположим, что в пространстве выборки есть два события A и B. Если между двумя событиями А и В нет корреляции, то они считаются независимыми событиями. Например, если сегодня утром я выпил молоко как событие А, мой пост с более чем 10 ретвитами считается событием Б. Очевидно, что эти два события никак не связаны, и то, пью я молоко или нет, никак не повлияет на объем пересылки статьи. Тогда эти два события называются независимыми событиями:

Конечно, бывают и случаи, когда два события связаны друг с другом, например, я пью молоко утром и опаздываю ли я на работу, вероятно, будут связанными событиями. Поскольку для того, чтобы пить молоко по утрам, требуется время, это, вероятно, повлияет на то, опоздаете ли вы. В этот момент P(AB) связан с обоими событиями, а не просто с произведением.

Как показано на рисунке выше, когда два события AB не являются независимыми событиями. P(AB) относится к пересечению двух событий AB, которое можно рассматривать как возникновение события A при предпосылке возникновения события B или возникновение события B при предпосылке возникновения события A. .

В теории вероятностей вероятность того, что одно событие произойдет при условии другого события, называется условной вероятностью и записывается как P(B|A).

Запишем предыдущий вывод в виде формулы:

P(AB)=P(A)P(B|A)=P(B)P(A|B)\\ P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(B)P(A|B)}{P(A)}

Вывод этой формулы очень естественен, но очень полезен. Поскольку условная вероятность во многих случаях не является интуитивно понятной, нам нужно использовать эту формулу для расчета.

Давайте посмотрим на классический пример в книге и закрепим его.

Предполагая, что есть два города А и В, вероятность дождя в городе А равна 20 %, вероятность дождя в городе В равна 18 %, а вероятность дождя в обоих местах составляет 12 %, какова вероятность дождя в В и А .

Этот вопрос очень прост, мы можем непосредственно применить формулу, очевидно $P(A)=20\% ,\quad P(B)=18\% ,\quad P(AB)=12\%$

Так:

$P(A|B)=\frac{P(AB)}{P(B)}=\frac{12\%}{18\%}=\frac{2}{3}$

формула полной вероятности

Когда мы вводим условную вероятность, мы используем два события, A и B, чтобы говорить о вещах. Но в реальной жизни существует более двух событий, связанных друг с другом.Если несколько событий связаны с событием А, как должна выглядеть формула в этот момент?

Мы помещаем все события, связанные с событием A, в группу, называемую группой B, которая содержит n событий. Затем, в соответствии с предыдущей условной вероятностью, мы можем использовать событие B для представления события A.

Эта формула называется формулой полной вероятности.Предпосылкой этой формулы является то, что группа событий B — это набор всех событий, связанных с событием A, также известный как полная группа событий.

теорема Байеса

Это также является изюминкой этой статьи.В учебнике теорема Байеса имеет только простую формулу:

Фактически, это формула, которую мы вывели из приведенной выше условной вероятности. Хорошо понимать его только таким образом, но он может понять только очень поверхностный смысл. Если вы понимаете только этот слой, последующие априорную, апостериорную вероятность и максимальную вероятность понять сложно.

Давайте перейдем к следующему уровню понимания.На этот раз мы деформируем формулу полной вероятности:

Тогда условная вероятность того, что произойдет событие A и событие Bi, будет равна:

P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^nP(A|B_j)P(B_j)}=\frac{P(A|B_i)P(B_i)}{P(A)}

Эта формула может показаться непритязательной, но на самом деле она иллюстрирует связь между следствием и причиной. В качестве очень простого примера предположим, что событие A — это автомобильная сигнализация. Тогда есть много причин для возникновения инцидента А, например, случайное наезд пешеходов, угон автомобиля или отказ сигнализации. Набор причин, вызывающих событие А, называется группой событий В.

Если однажды ночью мы услышим сирену, все, что нам нужно будет сделать, это угадать причину возникновения события А на основе события А, то есть провести экстраполяцию. P(B_i|A) .

Поскольку это ночью, вероятность столкновения с пешеходом очень низкая, поэтому высокая вероятность связана с угонщиками автомобилей. В это время нам нужно встать и проверить. Если днём, то, наоборот, вероятность наезда на пешехода высока, а вероятность совершения преступлений угонщиками очень мала, поэтому её можно не учитывать.

Другими словами, событие А — это событие, которое мы можем непосредственно наблюдать, а событие В — причина его возникновения. Формула Байеса — это инструмент для нахождения следствий и абдукций, и именно здесь теорема Байеса действительно хороша.

В статистике вероятность возникновения события, которое можно непосредственно наблюдать, обычно называют априорной вероятностью, что означает, что мы можем напрямую измерить вероятность с помощью экспериментов. Причина этой вероятности называется апостериорной вероятностью, то есть вероятностью, которую нам нужно рассчитать через априорную вероятность. Оценка максимального правдоподобия заключается в вычислении параметров, которые максимизируют вероятность возникновения в соответствии с функцией апостериорной вероятности.

Наконец, давайте вернемся к примеру в начале и попробуем обработать результат, используя теорему Байеса.

Мы используем 1, 2 и 3 для обозначения трех дверей, очевидно, что за любой из них могут появиться роскошные автомобили. Для упрощения выражения предположим, что гости должны выбрать первую дверь для открытия, а хозяин открывает вторую дверь.

Мы определяем четыре события ABCD, три события ABC представляют роскошный автомобиль за тремя дверями соответственно, событие D представляет вероятность того, что хост откроет вторую дверь.

Интуитивно мы чувствуем $P(D)=\frac{1}{2}$

Но мы не уверены. Все в порядке, мы можем это выяснить.

Во-первых:

P(D)=P(A)P(D|A)+P(B)P(D|B)+P(C)P(D|C)

$P(D|A)=\frac{1}{2}, P(D|B)=0, P(D|C)=1$

Это также легко увидеть. Поскольку ведущий не должен открывать вторую дверь, если за ней появляется приз, P(D|B)=0 . Точно так же, если приз находится за третьей дверью, ведущий должен открыть вторую дверь. Итак, P(D|C)=1.

Подставив, можно рассчитать: $P(D)=\frac{1}{2}$

Далее мы хотим вычислить P(A|D) и P(C|D) .

Согласно теореме Байеса:

$P(A|D)=\frac{P(A)P(D|A)}{P(D)}=\frac{\frac{1}{3}\frac{1}{2}}{\frac{1}{2}}=\frac{1}{3}$

$P(C|D)=\frac{P(C)P(D|C)}{P(D)}=\frac{\frac{1}{3}}{\frac{1}{2}}=\frac{2}{3}$

Путем различных вычислений мы, наконец, получили правильный результат. Но даже если мы понимаем принцип Байеса и эти вычислительные процессы, мы все равно не можем ответить на сомнения в наших сердцах: почему это отличается от нашего интуитивного чувства? Почему ответ не 1/2?

Проблема на самом деле очень проста, потому что наше мышление ограничено. Мы фокусируемся только на оставшихся двух дверях, которые не были открыты, полностью игнорируя влияние открытых дверей.

Предположим, мы меняем игру, она по-прежнему три двери, это по-прежнему приз, или она размещается случайным образом. Предположим, что кто-то может выбрать одну или две двери одновременно. Итак, каковы шансы на победу для этих двух вариантов? Очевидно, что вероятность выбора двух дверей, конечно, равна 2/3. В это время мы должны открыть не ту из двух дверей.Изменится ли результат? Конечно, нет.

Точно так же, когда ведущий спрашивает, хотим ли мы изменить выбор, мы на самом деле спрашиваем, хотим ли мы выбрать одну дверь или две двери. Если мы не изменим свой выбор, мы выберем дверь. И если мы изменим выбор, это фактически эквивалентно выбору двух дверей в начале. Из двух дверей должен быть один неверный ответ, и его исключение не повлияет на окончательный результат.

До того, как хозяин откроет эту дверь, вероятность всех трех событий равна. Когда дверь открыта, мы все знаем, что вероятность того, что дверь рухнула и рухнула, равна 0. Вероятность его сжатия фактически неравномерно распределяется на оставшиеся две двери. Когда вы это понимаете, проблема решена.

Математика программиста 2

Теория вероятностей и математическая статистика (Чжэцзянский университет, четвертое издание)

Если вы чувствуете, что что-то приобрели, то отсканируйте код и следуйте ему: