В феврале 2019 года польское правительство внесло поправку в Закон о банковской деятельности, которая дает клиентам право на объяснение в случае отрицательного кредитного решения. Это одно из прямых последствий внедрения GDPR в ЕС. Это означает, что если процесс принятия решений автоматизирован, банк должен иметь возможность объяснить, почему кредит не был одобрен.

В октябре 2018 года сообщения о том, что «инструмент рекрутинга Amazon с использованием ИИ предвзято относится к мужчинам», попали в заголовки газет по всему миру. Модели Amazon обучаются на предвзятых данных, которые отдают предпочтение кандидатам-мужчинам. Модель строит правила против резюме, которые содержат слово «женское».

Влияние «непонимания предсказаний модели»

Общим для двух приведенных выше примеров является то, что как банковские модели, так и модели, созданные Amazon, представляют собой очень сложные инструменты, так называемые классификаторы черного ящика, которые не предоставляют простых и интерпретируемых правил принятия решений.

Если финансовые учреждения хотят продолжать использовать решения на основе машинного обучения, они должны инвестировать в исследования интерпретируемости моделей. Эти учреждения действительно могут это делать, поскольку такие алгоритмы будут более точными при прогнозировании кредитного риска. С другой стороны, Amazon могла бы сэкономить много денег и избежать негативных отзывов в прессе, если бы модель была должным образом проверена и понята.

Почему сейчас? Тенденции в моделировании данных

Машинное обучение оставалось на вершине цикла шумихи Gartner (цикл шумихи) с 2014 года, пока его не обогнало глубокое обучение (форма машинного обучения) в 2018 году, что указывает на то, что его популярность еще не достигла пика.

Источник: https://www.gartner.com/smarterwithgartner/5-trends-emerge-in-gartner-hype-cycle-for-emerging-technologies-2018/

Ожидается дальнейшее ускорение роста машинного обучения. Согласно отчету об опросе Univa, 96% компаний планируют использовать машинное обучение в производстве в течение следующих двух лет.

Причины этого: обширный сбор данных, наличие огромных вычислительных ресурсов и активное сообщество открытого исходного кода. Рост внедрения машинного обучения сопровождался увеличением интерпретационных исследований, обусловленных такими правилами, как GDPR, «право на интерпретацию» ЕС, соображениями безопасности (медицинские, автономные транспортные средства), а также проблемами воспроизводимости и предвзятости или ожиданиями конечных пользователей. отладка оптимизированной модели или изучение нового объекта исследования).

Источник: http://people.csail.mit.edu/beenkim/papers/BeenK_FinaleDV_ICML2017_tutorial.pdf

Возможности интерпретации алгоритмов черного ящика

Как специалисты по данным, мы должны быть в состоянии объяснить конечному пользователю, как работает модель. Однако это не обязательно означает понимание каждой части модели или создание набора правил принятия решений на основе модели.

При этом в пояснении модели не нуждаются следующие случаи:

Проблема отлично изучена
Результаты модели не имеют последствий
Понимание модели конечным пользователем может привести к игровому риску в системе.

Если мы посмотрим на результаты опроса по машинному обучению и науке о данных, проведенного Kaggle в 2018 году, то около 60% респондентов считают, что они могут объяснить большинство моделей машинного обучения (некоторые модели все еще трудно объяснить). Наиболее распространенный метод, используемый для понимания машинного обучения, заключается в анализе функций модели с учетом важности функций и корреляции функций.

Анализ важности функций дает хорошее начальное представление о том, что изучает модель и какие факторы могут быть важны. Однако этот метод менее надежен, если признаки коррелируют. Это обеспечивает хорошее понимание только тогда, когда переменные модели поддаются интерпретации. Для многих библиотек GBM (Gradient Boosting Machine) построение графика важности функций очень просто.

Для глубокого обучения ситуация намного сложнее. При работе с нейронными сетями вы можете смотреть на веса, потому что они содержат информацию о входных данных, но эта информация сжата. Кроме того, вы можете анализировать связи только на первом уровне, потому что на более глубоких уровнях это слишком сложно.

Неудивительно, что доклад LIME (Locally Interpretable Models — Interpretable Explanations) 2016 года, представленный на конференции NIPS, оказал огромное влияние. Модель LIME заключается в построении понятной модели белого ящика на интерпретируемых входных данных для локального моделирования модели черного ящика. Было показано, что он дает отличные результаты в предоставлении пояснений к классификации изображений и текста. Однако для табличных данных трудно найти интерпретируемые признаки, локальная интерпретация которых может ввести в заблуждение.

LIME реализован на Python (lime и Skater) и R (lime и iml, live) и очень прост в использовании.

Еще одна многообещающая идея — SHAP (Shapley Additive Explanations). Он основан на теории игр. Он рассматривает функции как игроков, модели как альянсы и использует значения Шепли, чтобы проиллюстрировать, какую «выплату» приносит каждая функция. Этот метод точно измеряет эффект (каждой функции), прост в использовании и обеспечивает привлекательную реализацию визуализации.

Пакет DALEX (описательные инструкции по машинному обучению), доступный в R, предоставляет набор инструментов, помогающих понять, как работают сложные модели. Используя DALEX, интерпретаторы моделей можно создавать и исследовать с помощью визуализаций, таких как разнесенные графики. Вас также может заинтересовать DrWhy.Ai, разработанный той же группой исследователей, что и DALEX.

Практический вариант использования

Обнаружение объектов на фотографиях

Распознавание изображений широко используется в автономных транспортных средствах для обнаружения автомобилей, светофоров и т. д., в охране дикой природы для обнаружения животных на изображении или в страховании для обнаружения затопленных культур.

Мы будем использовать пример «Хаски против волка» из оригинальной статьи LIME, чтобы проиллюстрировать важность интерпретации модели. Классификатор, которому было поручено определить, есть ли на картинке волки, неправильно классифицировал сибирских хаски как волков. Благодаря исследователям LIME, которые смогли определить, какие области изображения были важны для модели, они в конечном итоге обнаружили, что если на изображении есть снег, оно будет классифицироваться как волк.

Алгоритм использует фон картинки и полностью игнорирует черты животных. Модель должна была акцентировать внимание на глазах животного. Благодаря этому открытию можно исправить модель и расширить обучающие выборки, чтобы предотвратить вывод о том, что снег = волк.

Классификация как система поддержки принятия решений

Отделение интенсивной терапии UMC Amsterdam хочет предсказать вероятность повторной госпитализации и/или смерти пациента при выписке. Цель состоит в том, чтобы помочь врачам выбрать правильное время для удаления пациента из отделения интенсивной терапии. Если врач понимает, что делает модель, он, скорее всего, воспользуется ее рекомендациями при вынесении окончательного решения.

Чтобы показать, как эту модель можно объяснить с помощью LIME, мы можем рассмотреть другое исследование, направленное на раннее прогнозирование смертности в отделении интенсивной терапии. Он использовал модель случайного леса (модель черного ящика) для прогнозирования смертности, используя LIME для локального объяснения прогнозируемых показателей для каждого пациента.

Источник: https://www.researchgate.net/publication/309551203_Machine_Learning_Model_Interpretability_for_Precision_Medicine.

У одного пациента из отобранной выборки прогнозировалась высокая вероятность летального исхода (78%). Модели, приведшие к смерти, характеризовались более высокими показателями ФП и более высокими уровнями лактата, что согласуется с текущим медицинским пониманием.

Люди и машины — идеальная пара

Чтобы добиться успеха в создании объяснимого ИИ, нам необходимо объединить знания в области науки о данных, алгоритмы и опыт конечных пользователей. После создания модели работа науки о данных не заканчивается. Это итеративный, часто длительный процесс с обратной связью, предоставляемый экспертами, чтобы гарантировать, что результаты надежны и понятны людям.

Мы твердо верим, что, сочетая человеческий опыт с производительностью машин, мы можем прийти к лучшим выводам: улучшить результаты машин и преодолеть предубеждения в человеческой интуиции.

Использованная литература:

Онлайн и через Интернет: аналитика, интеллектуальный анализ данных, наука о данных, обучение машинному обучению: https://www.kdnuggets.com/education/online.html

Программное обеспечение для аналитики, науки о данных, интеллектуального анализа данных и машинного обучения: https://www.kdnuggets.com/software/index.html

Связанная информация:

Являются ли функции BERT InterBERTible: https://www.kdnuggets.com/2019/02/bert-features-interbertible.html

Достижения в области искусственного интеллекта и науки о данных в 2018 году и тенденции на 2019 год: https://www.kdnuggets.com/2019/02/ai-data-science-advances-trends.html

Год в достижениях ИИ/машинного обучения: обзор Ксавьера Аматриана за 2018 год: https://www.kdnuggets.com/2019/01/xamat-ai-machine-learning-roundup.html

Ольга Межва-Сулима, старший научный сотрудник и руководитель проекта, Appsilon

Переводчик: TalkingData Чжун Давэй

Оригинальный адрес: https://www.kdnuggets.com/2019/05/interpretability-machine-learning-models.html

Изображение обложки взято из Интернета, если есть какие-либо нарушения, пожалуйста, свяжитесь с нами, чтобы удалить