О мудрости
Автор | слабенький
Источник | Реддит
Нейронные сетиОдна из вещей, которые подвергались критике в отношении глубокого обучения, заключается в том, что это черный ящик. После обучения и тестирования иногда мы можем получить довольно хорошие результаты. Но мы не знаем, почему нейронные сети работают так хорошо. Точно так же нейронные сети иногда дают нелепые результаты, и мы часто не знаем, почему. Конечно, некоторые люди думают, что черный ящик нейронной сети является ее преимуществом. Андрей, глава отдела искусственного интеллекта Tesla Два дня назад Карпати написал статью, в которой утверждал, что нейронные сети представляют собой фундаментальное изменение в способах разработки программного обеспечения.Разработка программного обеспечения войдет в эпоху 2.0.
Позавчера кто-то также начал дискуссию на узле машинного обучения Reddit: проблема черного ящика преувеличена? После того, как вопрос был задан, он вызвал жаркие дебаты и менее чем за 24 часа получил почти сотню ответов. Lunzhixuan перевел некоторые из этих комментариев для удобства читателей.
«Черные ящики» — это преимущество
soutioirsimБыла начата дискуссия, утверждающая, что черный ящик следует рассматривать скорее как преимущество, чем проблему, поскольку это означает, что модель не ограничена объяснительной силой человека:
«Всякий раз, когда я представляю работу, в которой используются нейронные сети или другие классные методы машинного обучения, ученым, не занимающимся машинным обучением, я часто слышу комментарий, что эти методы — «черные ящики», и вы не можете объяснить, насколько они эффективны.
«Я не согласен с этим на том основании, что интерпретируемость человека ограничивает модели — если бы мы использовали только модели, которые легко объяснить, мы бы не увидели такого прогресса в машинном обучении, как сейчас. обучение как «уметь автоматически учиться и совершенствоваться на основе опыта без явных инструкций», то в основном это определение означает, что эти модели было бы трудно интерпретировать, что вы могли бы легко написать самостоятельно в противном случае.
«Это не означает, что мы не должны стремиться к лучшему пониманию этих моделей. На самом деле, я подумал, что недавнее выступление на Youtube о теории информации в глубоком обучении было отличным, и надеюсь, что мы увидим больше подобных работ. Тем не менее , я думаю, что люди должны изменить свое мнение и рассматривать «черный ящик» скорее как преимущество, чем как проблему, поскольку он указывает на модель, которая не создана человеком».
неуправляемая нейронная сеть
tpapp157Не то чтобы проблема черного ящика преувеличивалась, он рассматривает ловушки нейронных сетей с кибернетической точки зрения:
«В классической кибернетике я могу вывести закон управления, который обеспечивает непрерывный контроль над динамической системой. Используя методы, основанные на исчислении, я могу точно количественно оценить устойчивость замкнутой системы, а также ее накладные расходы и производительность. Я могу доказать что мои законы управления на 100% безопасны, какая бы отказоустойчивость не требовалась заказчику и совместимой системе.При этом я могу точно количественно оценить другие характеристики системы управления, такие как ее плавность, или комфорт пользователя или пассажира , Я также могу настроить контроллер, который я разрабатываю, на основе конкретных свойств отдельного продукта (которые были измерены на заводе), чтобы оптимизировать контроллер для устройства, это легко. Опять же, все это технология, основанная на вычислениях, поэтому он может обеспечить точные и понятные результаты.
«Нейронные сети не могут делать то же самое. В лучшем случае вы можете провести статистический анализ нейронных сетей, чтобы получить приблизительную достоверность информации о безопасности и стабильности системы, и эта приблизительная достоверность останется такой же, как ваша. сильная корреляция между обучающей и тестовой выборками Система становится нестабильной. Если нейронная сеть дает сбой, мы не можем понять, почему она пошла не так, и это трудно исправить. Мы не можем легко настроить базовый контроллер нейронной сети на оптимизировать для объекта в состоянии «как построено».
«Далее, на основе оптимальной кибернетики, для заданной динамической системы и функции потерь я могу вывести соответствующий оптимальный регулятор, вместо того, чтобы обучать нейронную сеть получать приближение максимального значения, а это приближение очень вероятно просто локальный максимум (хотя никто не знает, так ли это). Тот, который я упомянул выше, является 100% глобально оптимальным контроллером, полученным методом, основанным на исчислении. С 1940-х годов оптимальная кибернетика Прогресс является одним из ключевых факторов, движущих развитием аэрокосмической промышленности. ”
nicksvr4Отмечается, что дефекты обучающих данных могут привести к неконтролируемым результатам:
«Возможно, мы не знаем о недостатках данных обучения. Однажды я читал отчет о данных пациентов. У всех пациентов с астмой не было осложнений после перенесенной пневмонии. в больнице особо тщательный уход за больными астмой. И нейронная сеть видит только корреляцию между астмой и отсутствием осложнений. Если мы не проверим логику, пациенты с астмой будут, потому что «симптомов осложнений не будет» и отправлены домой, там в результате высок риск осложнений».
Критически важные для безопасности системы и пользовательский опыт
С другой стороны, даже если черный ящик хорошо работает в инженерии, он все равно может создавать проблемы для конечных пользователей, особенно в критически важных для безопасности системах.
hlynurdВот пример того, как машинное обучение определяет варианты лечения:
«Рассмотрите модель, в которой решения могут влиять на жизнь людей. Например, алгоритм, который предсказывает смертельную болезнь. Представьте себе пациента, знающего, что есть уверенный в себе врач, который понимает, почему необходимо сложное или дорогое лечение, по сравнению с пациентом, столкнувшимся с человеком. Пожав плечами и сказав пациенту «компьютер сказал химиотерапию», первый чувствует себя намного лучше».
DarkfeignСогласитесь с этим, думая, что система автопилота самолета может дать нам некоторое вдохновение, а система, критичная к безопасности, нуждается в большей «рациональности»:
«Посмотрите на систему отчетности системы автопилота самолета, которая до смешного детализирована. Если мы не можем легко обнаружить ошибку, можем ли мы позволить нейронной сети управлять автомобилем?
«Нам по-прежнему нужны рациональные системы, такие как байесовские и марковские сети. Пожертвовать производительностью ради рациональности может быть трудным решением, но в системах, критически важных для безопасности, у нас может быть не так много вариантов».
AmenemhabСчитается, что аналогия с Darkfeign не уместна, система автопилота самолета и нейросеть — это совсем не одно и то же:
«Системы автопилота для самолетов сильно отличаются от черных ящиков. Они имеют точные математические характеристики и проверяются системой проверки доказательств».
DarkfeignОн возразил, что не говорил, что система автопилота самолета и нейронная сеть — это одно и то же. Он просто утверждает, что критически важные для безопасности системы не будут полностью построены на нейронных сетях, если нейронные сети однажды не предложат подобную прозрачность, хотя нейронные сети могут стать частью системы.
thatguydrСчитается, что если фактическая частота ошибок нейронной сети намного ниже, чем у интерпретируемой модели, то выбор «иррациональной системы», такой как нейронная сеть, является рациональным выбором:
"Нейронные сети используются в критических с точки зрения безопасности системах, когда их фактическая частота ошибок намного ниже, чем интерпретируемые модели. Страховые компании являются дросселем для этого перехода. Смешно, что никто о них не упоминает. Если страховые компании думают, что нейронные сети лучше для их дна линия (чистая прибыль), объяснимость осталась в прошлом в делах, рассматриваемых страховыми компаниями».
Что касается проблем с пользовательским интерфейсом,phobrainСчитается, что ее можно решить путем визуализации структуры нейронной сети. То есть перед лицом ситуации «компьютер говорит о химиотерапии», на которую ссылается Хлинурд, если причина не известна, пациент может попросить визуализировать каждый слой нейронной сети.
Эксцентричный ответ phobrain получил 38 голосов в течение 12 часов и несколько ответов, соответствующих стилю. hlynurd спроектировал строки для разработчиков нейронных сетей: «доктор, в любом случае, вы можете сгенерировать мне пациента, который максимизирует функцию активации для узла 37000? Я бы очень хотел знать, что там не так». . Затем был вызван Крусус и уничтожил весь мир». Сингхан ответил: «Вообще-то в конце был вызван лимон». некоторые серьезные, но несколько предсказуемые результаты.
Английский травяной лимон (лимон) и демон (демон) очень похожи
justtheprintБолее серьезно ответили на вопрос о пользовательском опыте, указав, что есть много вариантов лечения и лекарств, но мы не понимаем их механизма. Наша единственная защита от них заключается в том, что они работают. Алгоритмы «черного ящика» также могут быть оценены таким жутко похожим образом: «В рандомизированном контролируемом исследовании мы следовали компьютерным выводам и привели к улучшению здоровья и увеличению продолжительности жизни пациентов».
Точка зрения justtheprint получила широкую поддержку.singhamВозьмем, к примеру, психотропные препараты, мы не понимаем механизма психотропных препаратов, но они все еще разрешены.terathОтмечается, что реальная ситуация еще хуже, не только неизвестен механизм, но даже неясна эффективность некоторых методов лечения:
«Мы привыкли выполнять опасные процедуры, о которых мы даже не знаем, работают ли они. Например, мы выполнили «позорную операцию» с очень небольшим тестированием, чтобы проверить, действительно ли процедура работает. И, делая это позже, мы часто выяснилось, что эта опасная операция на самом деле не приносила пользы.
«По крайней мере, мы можем тестировать модели машинного обучения с некоторой степенью точности, учитывая, что данные соответствуют некоторым требованиям статистического распределения».
havok_79В сочетании с моим собственным опытом работы в медицинской отрасли я указал, что нынешняя медицинская система на самом деле в некоторой степени является черным ящиком и может быть не более прозрачной, чем нейронные сети:
«Я работаю в медицинской отрасли уже несколько лет и немного устал от этого. Часто черные ящики — это скорее неправильное применение машинного обучения (или даже базовой статистики), чем неправильное применение модели. проблема.
"Обычный врач, вероятно, никогда по-настоящему не поймет модель машинного обучения. Я считаю, что независимо от того, насколько проста используемая модель, они тоже не поймут. Медицинское образование в основном снижает упор на математику и статистику. Мы не так обучаем врачей. Я часто слышу, как врачи утверждают результаты, которые не имеют причинно-следственной связи, если результаты обучения на этих наблюдениях подтверждают предыдущие идеи и имеют соответствующие значения p. Сертифицированные информатики сотрудничали, и они пытаются сделать значимые выводы из подгрупп с выборкой размер менее 10 (общая выборка исчисляется тысячами) Должны ли мы ограничивать продвижение нейронных сетей в этой области, потому что специалисты этой области фактически не оснащены для использования нейронных сетей?
"Модели в области медицины должны проходить такую же проверку, как и другие новые методы лечения. Но если модель машинного обучения большую часть времени превосходит врача на большой тестовой выборке, то мне действительно нет дела до моего врача. Не могу это объяснить. вообще. Я не могу объяснить ошибку врача. Если модель делает меньше ошибок, чем врач, то я думаю, что это все же лучший выбор».
Многие пользователи Reddit придерживаются аналогичной утилитарной точки зрения, хотя эта точка зрения может представлять некоторые этические риски.Ensembleghспросил:
«Если сохранение жизни большего количества людей в течение длительного времени означает, что кто-то должен объяснить, что Чжан Сан и Ли Си умерли из-за пограничной ситуации в программном обеспечении версии 2.0, вы бы согласились с этим?»
cclausenКонкурсно спросил:
«Не могли бы вы объяснить кому-нибудь, что Чжан Сан и Ли Си умерли из-за врачебной ошибки, которую можно было бы избежать с помощью программного обеспечения?
«Как пациент, я не знаю, что хуже».
AbstractoidТакже выступает за то, чтобы отказаться от механизмов и больше сосредоточиться на полезности:
«Если мы скажем людям, что модель на 99 процентов точна в обнаружении рака, а врач точен только на 80 процентов, я сомневаюсь, что многие люди будут обеспокоены тем, как модель пришла к своим выводам. Что вы думаете о полиомиелите, когда вакцина вышла первая, большинство врачей понимали, как она работает? Или их просто заботило, сработает ли вакцина?»
castlecrasher2Также считается, что компьютеры могут быть более эффективными, хотя для изменения восприятия пациента может потребоваться некоторое время:
«На самом деле люди склонны без колебаний доверять врачам, потому что они «эксперты». Трудно начать понимать, что компьютеры могут быть более эффективными».
NowanIlfidemeТакже считается, что необходимо изменить восприятие пациентов:
«Я считаю, что если человек с меньшей вероятностью умрет, следуя совету программного обеспечения, чем совету врача, то отношение людей, которые все еще обвиняют программное обеспечение, а не признают, что они просто неудачники (ошибочно классифицированные программным обеспечением), — это то, что нужно изменить. из."
VelveteenAmbushТакже считается, что эффект лечения является более важным фактором, чем психология пациента:
«Я предполагаю, что вопрос в том, если пациенту придется выбирать, выбрать ли наиболее эффективное лечение, насколько пациент будет чувствовать себя комфортно?
"Идея о том, что мы должны больше заботиться о том, что думает пациент, чем о том, что это лечение сделает для улучшения его здоровья, на мой взгляд, является шагом назад. Я ожидаю, что большинство пациентов смогут полностью понять Согласие с моей точкой зрения.
«Так что, возможно, ответ заключается в том, чтобы использовать этот черный ящик, но в то же время попытаться помочь пациенту понять, как работает модель и почему ответ в каком-то смысле такой сверхъестественный. Помимо фундаментального сверхъестественного, постарайтесь помочь пациенту понять получить как можно больше результатов ... а затем дать им наилучшее лечение (в соответствии с планом лечения, приведенным в черном ящике)».
akcomЯ думаю, что точка зрения Abstractoid немного экстремальна:
"Мы, безусловно, понимаем механизм полиомиелитной вакцины. Я работаю над прогностическими моделями в сфере здравоохранения, и интерпретируемость, безусловно, является ключевым фактором. Интерпретируемость - это не только то, чего хотят врачи, это то, что требуется для сертификации устройств на соответствие Да. Когда вы необходимо оценить производительность модели в производстве, «просто работать» недостаточно. Кроме того, мы также начинаем использовать механизм внимания рекуррентных нейронных сетей для улучшения интерпретируемости, некоторые из работ Чой и др. ключевую роль ."
Механизм подотчетности
duschendestroyerПредполагается, что, по сути, сами люди также являются черным ящиком:
«Вы можете спросить человека, почему он пришел к определенному выводу или принял определенное решение. Однако психологические исследования показывают, что мы только придумываем правдоподобную причину, а не объясняем на самом деле наш процесс принятия решений».
minewbСогласен с этим:
«Люди почти всегда частично или полностью ошибаются в своем понимании причин своего выбора. Тем не менее, они часто очень уверены в своих собственных объяснениях. Это опасное сочетание. Литература по когнитивной науке неоднократно показывала это на данный момент».
htrpутверждает, что, несмотря на это, по крайней мере, мы можем привлечь людей к ответственности:
"Я думаю, что дело в ответственности. Вы можете кричать на парня, чтобы он работал быстрее или перепроверял модель, или вы можете уволить парня за плохое моделирование.
«А алгоритмы машинного обучения не заботятся об этом».
psychedelic_thinkerТакже указывает, что люди привыкли нести ответственность:
«Людям нужно найти кого-то, кто возьмет на себя ответственность, если что-то пойдет не так. Это способ самоудовлетворения людей и единственный способ, которым они могут продолжать свою жизнь без чувства вины».
разное
Что касается лекции по теории информации глубокого обучения, упомянутой soutioirsim в основном посте, somewittyalias упомянул статью, опубликованную на ICLR 2018.
datatatatataЯ думаю, что тема этого обсуждения необъективна:
«Во-первых, проблема не названа должным образом. Люди жалуются на черные ящики, потому что считают, что проблема зашла слишком далеко, но в большинстве случаев нас не волнует интерпретация прогнозов. Беспристрастный. Мой коллега сказал: «Если проблема в предвзятости, не называйте это черным ящиком. Назовите это черным ящиком».
«Во-вторых, объяснение решения не всегда требует объяснения модели. На самом деле, мы можем использовать такие методы, как лайм или другие более продвинутые методы, чтобы объяснить индивидуальные прогнозы. Например, объяснение одного кредитного решения более действенно для продавца, чем объяснение всей модели кредитного скоринга.
«Короче говоря, я думаю, что« черный ящик »на самом деле является псевдопроблемой. Есть много реальных проблем, ожидающих своего решения (предвзятость, ненадежность, враждебная информация и т. д.)».
notathrowaway113Считается даже, что нейросети — это «новая одежда императора»:
«Я не понимаю, о чем вы говорите. Искусственная нейронная сеть просто находит надир на многомерной поверхности ошибок, используя нелинейные преобразования и методы численной оптимизации. Это создаст заданный набор входных векторов и желаемые выходные метки. самая эффективная модель Искусственные нейронные сети совершенно очевидны для любого, кто хоть немного разбирается в линейной алгебре».
Эта статья составлена Lunzhi, пожалуйста, свяжитесь с этим публичным аккаунтом для авторизации.