Представляем челлендж «Неограниченные состязательные примеры»

Авторы: Том Б. Браун и Кэтрин Олссон, инженеры-исследователи, команда Google Brain

Источник | Публичный аккаунт разработчика Google Машинное обучение все чаще используется в реальных приложениях, включая медицину, химию и сельское хозяйство. Мы по-прежнему сталкиваемся с огромными проблемами, когда речь идет о развертывании машинного обучения в критически важных для безопасности средах. В частности, все известные алгоритмы машинного обучения уязвимы для состязательных примеров (Love.Google/research/Public…Враждебные примеры относятся к входным данным, намеренно разработанным злоумышленником, чтобы сделать модель неправильной. Большинство предыдущих исследований враждебных примеров были сосредоточены на изучении ошибок из-за незначительных модификаций с целью создания улучшенных моделей, но реальные враждебные агенты часто не подпадают под условие «незначительных модификаций». Кроме того, алгоритмы машинного обучения часто делают ошибки достоверности при столкновении с злоумышленниками, поэтому существует острая необходимость в разработке классификаторов, которые не допускают ошибок достоверности, даже перед лицом злоумышленников, которые могут вводить произвольные входные данные в попытке обмануть систему. Нет путаницы, нет ошибок.

Сегодня мы объявляем о соревновании Unrestricted Adversarial Examples Challenge, соревновании на основе сообщества, предназначенном для мотивации и измерения прогресса в области моделей машинного обучения в направлении устранения ошибок классификации с нулевой достоверностью. В то время как предыдущее исследование было сосредоточено на состязательных примерах с небольшими изменениями предварительно помеченных точек данных (исследователи могут предположить, что изображения должны по-прежнему иметь те же метки после применения незначительных возмущений), эта задача позволяет использовать неограниченные входные данные, участники могут отправлять произвольные изображения. в целевом классе для разработки и тестирования моделей с использованием более широкого спектра состязательных примеров.

Состязательные примеры могут быть сгенерированы несколькими способами, включая незначительные модификации пикселей входных выборок или использование пространственных преобразований или простого предположения и проверки для поиска неправильно классифицированных входных выборок.

Структура вызова

Участники могут подавать заявки в одной из двух ролей: в качестве защитника, отправляющего классификатор, который трудно обмануть, или в качестве злоумышленника, отправляющего произвольные входные образцы, предназначенные для обмана модели защитника. Во время фазы «разминки» перед испытанием мы предоставим участникам серию стационарных атак для разработки своих защитных сетей. После того, как сообщество, наконец, сможет отразить эти стационарные атаки, мы запустим полноценное двустороннее испытание с призами как для атакующего, так и для защитника.

В этом задании мы создали простую задачу классификации «птица или велосипед», в которой классификатор должен был ответить на следующий вопрос: «Это четкое изображение птицы или велосипеда, или это размытое/нечеткое изображение?» Мы выбрали эту задачу, потому что людям очень легко отличить птиц от велосипедов, но все известные методы машинного обучения с трудом справляются с такими задачами перед лицом противников.

Цель защитника состоит в том, чтобы правильно маркировать чистые тестовые наборы птиц и велосипедов и поддерживать высокую точность, не допуская ошибок достоверности на любых изображениях птиц или велосипедов, предоставленных злоумышленником. Цель злоумышленника — найти изображения птиц, которым классификатор защиты доверяет маркировать их как велосипеды (и наоборот). Мы хотим, чтобы задача защитника была как можно ниже, поэтому мы отбрасываем все двусмысленные изображения (например, птица на велосипеде) или незаметные (например, вид на парк с высоты птичьего полета или нерегулярный шум).

Примеры неоднозначных изображений и четких изображений. Защитники не могут ошибиться с четкими изображениями птиц или велосипедов. Мы отказались от любых изображений, которые люди сочли бы расплывчатыми или неясными. Все изображения находятся под лицензией CC 1, 2, 3, 4

Злоумышленник может отправить любое изображение птицы или велосипеда, пытаясь обмануть защитный классификатор. Например, злоумышленники могут фотографировать птиц, использовать программное обеспечение для 3D-рендеринга, использовать программное обеспечение для редактирования изображений для компоновки изображений, использовать генеративные модели или другие методы для создания новых изображений птиц.

Чтобы проверить новые изображения, предоставленные злоумышленником, мы просим группу людей пометить изображения. Этот процесс позволяет злоумышленнику отправлять произвольные изображения, а не только слегка измененные изображения тестового набора. Модель защиты нарушается, если классификатор защиты явно классифицирует любое изображение, предоставленное злоумышленником, как «птицу», в то время как люди, маркирующие его, последовательно обозначают его как велосипед. Подробнее о структуре челленджа вы можете узнать в нашей статье (drive.Google.com/file//1T0…

способ участия

Если вы хотите принять участие, руководство по началу работы можно найти в проекте Github. Мы выпустили набор данных, конвейер оценки и базовую атаку для «разогрева» и будем обновлять таблицу лидеров лучшими моделями защиты сообщества. Мы с нетерпением ждем вашего участия! Примечание: ссылка на проект GithubGitHub.com/Google/UN Re…

Спасибо

В команду организаторов Unrestricted Adversarial Example Challenge входили Том Браун, Кэтрин Олссон, Николас Карлини, Чиюань Чжан, Ян Гудфеллоу из Google и Пол Кристиано из OpenAI.