Примечание редактора:Недавно исследователи из Google опубликовали документ, в котором утверждалось, что они успешно обманули ИИ с помощью нескольких красочных наклеек — программа распознавания изображений лицом к лицу с бананом была похожа на галлюцинацию, и настаивали на том, что это Хлебопечка.
Возможно, вы слышали о методе, позволяющем сломать мозг ИИ, например, задать логический парадокс и применить к изображению фильтр возмущения, но этот тип наклейки позволяет обычным людям печатать напрямую, что является простым и эффективным, в то же время У ИИ почти всегда удачное оружие.
Становится ли легче дразнить ИИ? Сегодня, говорят исследователи, эти трюки, над которыми мы пытаемся пошутить, могут стать опасной прелюдией, например, когда вы наклеиваете эту наклейку на свою машину и едете по дороге...
В романе Уильяма Гибсона 2010 года «Нулевая история» есть сцена, в которой персонаж готовится к операции с высокими ставками, которую книга называет «самой уродливой футболкой в мире» — надень ее, он может быть невидим перед камерами наблюдения. .
По совпадению, «Снежная катастрофа» Нила Стивенсона также отправляет оптические растровые изображения на компьютер, вмешиваясь в мозг цели, а затем разрушая мышление другого через нервную систему. Есть много других историй, подобных этой, и все они относятся к общему мосту в научной фантастике:
Простые изображения, которые могут привести к сбою компьютера.
Мошенническое изображение - ИИ: вы мошенник?
Сегодня эта концепция уже не фантастика. В прошлом году исследователи успешно обманули коммерческую систему распознавания лиц, заставив ее ослепить ИИ, просто надев пару кружевных очков. Секрет кроется в узоре на оправе очков.
Для нас эти кривые и полилинии могут быть совершенно случайными и довольно художественными, но для компьютера эта графика искажает важные черты машинного распознавания лица.
Эти очки еще не достигли уровня «самой уродливой футболки в мире» Гибсона и не могут удалить ваше изображение из-под наблюдения, но они могут обмануть ИИ. Теоретически, изменив рисунок на очках, вы можете заставить ИИ принять вас за кого угодно — папу, звезду, президента, за кого угодно.
▲ Вверху — тестировщик в очках, а внизу — лицо, распознанное компьютером (Источник: Махмуд Шариф, Шрути Бхагаватула, Луджо Бауэр и Майкл К. Райтер)
Если вам интересно в будущем поиграться с системами зрения искусственного интеллекта, помимо очков могут пригодиться и наклейки. Google превратил мошеннические изображения в стикеры, которые вы можете скачать бесплатно.
Это новое изобретение было упомянуто в статье, опубликованной в прошлом месяце, и его роль заключается в том, чтобы появиться перед камерой, сбивая с толку функцию распознавания изображений ИИ. Вы можете распечатать эти наклейки на работе, дома, на собственной секретной базе, не зная условий освещения целевой сцены, угла камеры, типа атакуемого ИИ и т. д.
С ним ИИ не может даже различить самые простые предметы, например, распознать «банан» как «тостер». Это как ЛСД искусственного интеллекта, галлюциноген, маленькая штука, которая может обмануть компьютер до головокружения.
Есть опасения, что эти шаблоны будут использовать все свои средства, чтобы обойти ИИ, поставив под угрозу будущие системы безопасности, заводских роботов и беспилотные автомобили. Представьте, что вы наклеиваете наклейку на обочину дороги, и ваша машина думает, что пора остановиться, или наклеиваете наклейку на свою машину, и система мониторинга становится слепой.
Хуже всего то, что хотя люди и видят эти маскировки с первого взгляда, они не считают эти наклейки зловещими, а думают, что это перформанс...
А если серьезно, «если в армии ваша система может сама определять, на что нацеливаться, — сказал The Verge Джефф Карран, соавтор статьи 2015 года о мошеннических изображениях, — противник получает мошенническое изображение. госпиталь, и вы стреляете по нему. Или вы отслеживаете врага с помощью дрона, и вы не хотите утруждать себя обнаружением того, что вы отслеживаете не ту цель».
В настоящее время эти фантазии просто беспочвенны, а упомянутые выше стикеры Google по-прежнему требуют от исследователей бесчисленных усилий и времени. Но если мы пойдем по нынешнему пути, то эти сценарии вполне возможны.
Со временем методы борьбы с ИИ становятся все более гибкими. Наклейки, которые сегодня мы воспринимаем как игрушки, — это только начало. "Это большая проблема, - сказал Карран. - Это проблема, которую должны решить исследователи".
▲Из рисунка наклейки, представленного в исследовательской работе, если вам интересно, вы можете попробовать его.
Зачем обманываться - AI: Трудно уберечься от этого!
Все вышеперечисленные примеры обмана ИИ можно отнести к атакам кибербезопасности на основе ИИ, научно называемым «состязательным машинным обучением». Распространенные в научной фантастике «уродливые невидимые футболки» и «разбивающие мозги растровые изображения» можно рассматривать как своего рода мошенническое изображение, и оно может принимать различные формы, носителем может быть аудио и текст.
Еще в 2010 году многие исследовательские группы обнаружили это явление. Мошеннические атаки обычно нацелены на систему, называемую «классификатором», которая классифицирует данные, например, используя анализ изображений на телефоне для классификации фотографий на «еда», «отпуск» и «домашние животные».
Для человека мошенническая картинка выглядит как экран телевизора, но позволяет ИИ уверенно судить: «Да, это должно быть гиббон!» или «Боже мой, этот мотоцикл так популярен. Он так ослепителен». !"
К сожалению, люди не знают, какие визуальные признаки использует ИИ для оценки изображений, и неясно, почему конкретная атака может обмануть ИИ. Одно из объяснений заключается в том, что мошеннические изображения используют так называемую «границу принятия решений» — общую черту ИИ, который связывает себе руки, как невидимые правила.
Если есть ИИ, который различает львов и леопардов, со временем он создаст базу данных признаков, отличающих объекты. Представьте себе плоскость XY. Верхний правый угол — это внешний вид всех изученных леопардов, а нижний левый угол — внешний вид всех львов, которых он видел. Линия, которая разделяет два поля, называется границей решения.
Но граница решения имеет фатальную проблему в том, как она классифицируется, она слишком абсолютна и экстремальна. «То, что вы делаете, — это обучать их проводить линии между кластерами данных, а не глубоко моделировать процесс различения львов и леопардов», — сказал Карран.
Чтобы обмануть программу анализа льва и леопарда, вы можете сфотографировать льва и растянуть его до ужасно жуткой формы: когти размером с лопату и грива, горящая, как солнце. Люди определенно не узнают его, но это все еще «лев особого льва» для ИИ, который исследует границы принятия решений.
Один из способов улучшить «границу принятия решения», указал Колумн, — сделать ИИ более склонным к «я не могу распознать это изображение», а не «я должен классифицировать это изображение по категориям».
▲ Некоторые мошеннические изображения и изображения в глазах ИИ (Источник: JeffClune, Jason Yosinski, Anh Nguyen), сверху слева направо внизу: пистолеты-пулеметы, стетоскопы, цифровые часы, футбольные мячи, весла, пылесосы, аккордеоны, отвертки. Не говоря уже о том, что пока вы снимаете очки для близорукости, чтобы увидеть, это действительно интересно...
Способ борьбы с мошенничеством - ИИ: Я тебя тоже узнаю, если ты поменяешь жилетку
До сих пор мошеннические изображения не причинили реального вреда реальному миру. Но академические круги, особенно Google, очень серьезно относятся к этому вопросу. Вывод таков: нет лекарства от обманутого ИИ.
Но чтобы помочь ИИ противостоять мошенничеству, инженеры начинают подвергать его «состязательной подготовке».
На этом тренинге ИИ учат распознавать и игнорировать оскорбительные изображения, подобно тому, как телохранитель учится стрелять в человека из черного списка за дверью. К сожалению, как объяснил аспирант Пенсильванского университета, написавший много статей о состязательных атаках, даже это обучение, когда он сталкивается со «стратегией, интенсивно использующей вычисления» (дайте системе достаточно изображений для распознавания, она всегда будет терпеть неудачу), также уязвимо.
Защита от мошеннических изображений — это двойное давление:
Во-первых, мы не знаем, как защититься от существующих атак;
Во-вторых, продолжают появляться новые варианты атак.
Прочитав эту статью, вы быстро распознаете очки и наклейки, используемые для мошенничества, но есть и более тонкие способы, которые вы просто не видите, например «возмущение».
«Возмущение» — это метод обмана изображений ИИ, который не меняет зрение человеческого глаза, его изменения в изображении проникают в пиксели на поверхности фотографии, как фильтр в Instagram. Недавнее исследование под названием «Универсальные состязательные возмущения» доказало осуществимость таких «фильтров», успешно возмущающих большое количество нейронных сетей, и исследователи были взволнованы.
▲ Исходное изображение слева, «фильтр помех» посередине и итоговое изображение справа (Источник: Гудфеллоу, Джонатон Шленс и Кристиан Сегеди). Первоначально ИИ считал, что изображение с вероятностью 57,7% является панда, и после возмущения После этого показалось, что на этой картинке точно гиббон (в чем сходство панды и гиббона???)
Тем не менее, существуют ограничения на использование мошеннических изображений для обмана ИИ:
Во-первых, злоумышленнику требуется много времени, чтобы создать конкретное зашифрованное изображение, которое ИИ считает конкретным изображением, а не какой-то случайной ошибкой;
Во-вторых, злоумышленникам часто требуется доступ к внутреннему коду целевой системы для создания возмущений;
В-третьих, атака не всегда эффективна.
«Всесостязательное возмущение» имеет 90%-й шанс успешно обмануть нейронную сеть, но с другим ИИ он может иметь только 50%-60% успеха. Хотя для беспилотных автомобилей 50% ошибок — это тоже катастрофа. Но хорошая новость заключается в том, что существует множество способов взломать беспилотный автомобиль, и сложность «возмущения» может быть настолько хлопотной, что никто не хочет практиковаться в этом.
▲ Некоторые «возмущенные» изображения (Источник: Seyed-MohsenMoosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi, Pascal Frossard), следующие результаты распознавания ИИ: два азиатских слона, два африканских серых попугая, саламандры, карусель
В то же время атака на ИИ также привела к более глубокому мышлению. Одни и те же мошеннические изображения могут обмануть ИИ Google, Mobileye и Facebook, раскрывая общие недостатки современного ИИ.
«Это похоже на то, как группа ИИ собирается вместе и критикует, почему глупые люди не понимают, что эти данные — морская звезда, — сказал Курран. — Все сети ИИ думают: эти сумасшедшие и неестественные изображения — одного типа. поразительно».
Мы, углеродные существа, не должны покровительствовать и наблюдать за волнением.Исследования мошеннических изображений показывают, что интеллект ИИ и естественных существ на самом деле одинаков.
Коллега Коллена Джейсон отметил, что ошибки классификации границ решений, допущенные ИИ, также существуют в зоологическом сообществе. Животные также могут быть обмануты искусственными «сверхъестественными раздражителями», которые даже подавляют естественные инстинкты:
В ходе эксперимента, проведенного в 1950-х годах, исследователи использовали этот стимул, чтобы заставить птиц игнорировать свои собственные яйца в пользу ярко окрашенных поддельных яиц или обмануть краснобрюхих колюшек, заставив их думать, что мусор — это враг. Колюшки будут атаковать всякий раз, когда на мусоре будет нарисовано красное брюхо.
Утверждалось, что некоторые из наших собственных человеческих увлечений, такие как фаст-фуд и порнография, также являются паранормальными.
Можно сказать, что ошибки, совершаемые этими ИИ сегодня, глупы, но не забывайте, что мы сами тоже обманываемся. И на долгом пути в будущее нам нужно, чтобы они работали лучше.
? | Ключевые слова | #AI##мошеннические изображения#
? | Редактор | Корабльдлинная
? | Сборник | Steam Dawn, МаленькийK
? | Автор | Джеймс Винсент, репортер The Verge.