Перевод | Базовый лагерь технологий искусственного интеллекта (ID: rgznai100)
Участвовать | Лю Чанг
Предположим, что в мире существует очень редкое заболевание, и ваш шанс заболеть им всего один из тысячи. Вы хотите знать, инфицированы ли вы, поэтому делаете тест с точностью до 99%... и результат теста положительный! Так насколько вы уверены, что вы на самом деле заражены?
Как второй результат теста на заболевание говорит вам, что вы действительно инфицированы?
Для вышеуказанной проблемы, если вы не хотите заниматься всей математикой и предпочитаете рисовать структуру сети, чтобы лучше понять, тогда эта статья для вас!
первый тест
Так как это очень редкое заболевание (1 шанс из 1000 заразиться). В следующей таблице (называемой таблицей условной вероятности) указана вероятность наличия этого вируса в организме.
Из таблицы видно, что только 1 из 1000 человек инфицирован. Можно подумать и так: 999 из 1000 человек не инфицированы.
Теперь делаем аналогичную тестовую таблицу: вторая таблица представляет собой точность теста. То есть результаты теста скажут о точности теста. Таким образом, если вы инфицированы, результат теста будет True, что означает, что у вас есть 99% шансов заразиться, а если вы не заражены, результат теста покажет false (тоже 99% точность). В обоих случаях погрешность результатов теста составляет 1%.
Следующий график показывает, что при наличии или отсутствии вируса для данного результата теста его результат также зависит от теста (как показано в таблице выше):
Затем, когда я предоставлю доказательства того, что результат теста True. Поскольку был сделан только один тест, и он оказался положительным, сеть сообщает мне, что вирус находится в вашем организме, но вероятность того, что вирус действительно там, составляет всего 9%!
Так почему же это так? Это число взято из теоремы Байеса:
В этой задаче метод расчета следующий:
Таким образом, даже если вы сделаете тест с точностью 99%, ваш шанс заболеть составляет всего 9%.
Этот расчет выглядит сложным, но представив его на графике, мы сможем лучше понять, как работает байесовское мышление.
Сделайте второй тест:
Что произойдет, если вы пройдете второй тест? Давайте предположим, что этот новый тест также имеет точность 99%, а затем получим ту же таблицу, что и первый тест:
Соответствующая байесовская сеть будет такой, как показано ниже:
Это означает: при проведении двух положительных тестов вероятность развития заболевания возрастает до 91%. Из-за добавления результатов предыдущего эксперимента, двух подряд, шанс заболеть подскочил с 9% до 91%. Но не 100%!
В другом случае, если второй тест отрицательный, есть 100% вероятность отсутствия заболевания.
Запустите три теста:
Все три теста имели одинаковую точность, и мы можем увидеть некоторые интересные результаты. Если у вас есть доказательства того, что все 3 теста положительны, вы теперь на 100% уверены, что у вас есть вирус.
Но если тест окажется ложным, вернется предыдущий результат, т.е. вероятность того, что вирус находится в вашем организме, составляет всего 91%:
В заключение, байесовские сети помогают нам продемонстрировать байесовское мышление и могут использоваться в науке о данных, когда объем данных умеренный, неполный и/или неопределенный. Они также могут предоставить экспертную оценку для построения или усовершенствования сети. Они позволяют «симулировать» различные сценарии и могут показать, как входное значение (в данном случае наличие вируса и точность теста) и выходное значение (вероятность фактического события) каким-то образом связаны.
В этом посте я объясню, как построить байесовскую сеть, исходя из теоремы Байеса. В настоящее время я работаю над байесовской сетью, чтобы предсказать стоимость и риск проекта. Я хочу поделиться основами создания этого мощного инструмента искусственного интеллекта.
Этот пример также объясняется в этом трогательном видео: https://youtu.be/R13BD8qKeTg.
Узнайте больше о байесовских сетях:
Байесовская сеть имеет свою особенность в том, как разделить теорию и данные по горизонтали на источнике модели. Байесовские сети могут быть построены на человеческом знании, т.е. теоретически, а также могут учиться на данных. Поэтому они могут использовать весь спектр в качестве модельного источника. Кроме того, благодаря своей графовой структуре байесовские сети на основе машинного обучения можно интерпретировать визуально, что также облегчает обучение человека и развитие теории.
Байесовские сети позволяют одновременному обучению человека и машинному обучению, то есть байесовские сети могут быть разработаны с помощью комбинации людей и искусственного интеллекта. Помимо пересечения границы между теорией и данными, байесовские сети обладают особым свойством причинности.
При определенных условиях, то есть при определенных теоретических предположениях, байесовские сети могут облегчить вывод о причинно-следственных связях. Фактически байесовские сетевые модели могут охватывать весь диапазон от ассоциации/корреляции до причинно-следственной связи.
На практике это означает, что мы можем добавить причинно-следственные предположения к существующей некаузальной сети, чтобы построить основанную на причинности байесовскую сеть. Это особенно важно, когда мы пытаемся смоделировать вмешательства в предметной области, например, оценить эффект лечения. В этом случае необходимо использовать причинно-следственную модель, и байесовские сети помогают нам осуществить этот переход. Источник: Байесовская книга.