Такие нейроны реагируют на одно и то же понятие, будь то буквальное, символическое или концептуальное выражение.
Об этом сообщает Heart of the Machine, участие: Ду Вэй, Король Демонов.
Исследователи OpenAI обнаружили «настоящие» нейроны в искусственной нейронной сети CLIP — механизме, который объясняет, почему модели ИИ так точно классифицируют неожиданные визуальные представления. Исследователи говорят, что это важное открытие, которое может иметь большое значение для изучения компьютерного мозга и даже человеческого мозга.
Это может означать, что всеобщий искусственный интеллект не так уж и далек, как мы думаем. Но нейроны, которые понимают абстрактные понятия, также делают некоторые нелепые понимания.
Пятнадцать лет назад Кирога и др. обнаружили, что человеческий мозг содержит мультимодальные нейроны. Эти нейроны способны реагировать на кластеры абстрактных понятий, связанных с общими темами высокого уровня, а не на какую-либо конкретную визуальную особенность. Самым известным из таких нейронов является нейрон Холли Берри, который реагирует на фотографии, изображения и тексты американской актрисы «Холли Берри».
В начале января этого года OpenAI предложилаУниверсальная система технического зрения CLIP, производительность которого сравнима с ResNet-50 и превосходит существующие системы машинного зрения на некоторых сложных наборах данных. Имея набор лингвистически выраженных категорий, CLIP может мгновенно сопоставить изображение с одной из этих категорий и не требует точной настройки данных, специфичных для этих категорий, как стандартные нейронные сети.
Недавно OpenAI сделал еще одно удивительное открытие: мультимодальные нейроны в модели CLIP! Такие нейроны могут реагировать на одни и те же понятия, представленные в виде текста, символов или понятий. Например, нейроны «Человека-паука» (похожие на нейроны Холли Берри) могут реагировать на изображения пауков, изображения текста «паук» и персонажа комиксов «Человек-паук».
Нейроны, обнаруженные в модели CLIP, имеют функции, аналогичные нейронам Холли Берри в человеческом мозге, и являются улучшением по сравнению с предыдущими искусственными нейронами.
Это открытие проливает свет на абстракцию — общий механизм синтетических и естественных зрительных систем. Исследователи обнаружили, что самый высокий уровень CLIP организует изображения в свободные семантические наборы идей, обеспечивая простое объяснение общности модели и компактности представления.
Это открытие может объяснить точность классификации модели CLIP и является важным шагом на пути к пониманию ассоциаций и предубеждений, которые модели больших языков изучают во время обучения, сообщает OpenAI.
Итак, как именно выглядят мультимодальные нейроны в CLIP? Используя инструменты интерпретируемости, исследователи OpenAI исследовали и обнаружили, что высокоуровневые понятия в рамках весов CLIP содержат много визуальных слов человека, таких как регионы, выражения лица, религиозные образы, знаменитости и многое другое. Изучая влияние нейронов, мы можем больше узнать о том, как CLIP выполняет классификацию.
Мультимодальные нейроны в CLIP
Статья OpanAI «Мультимодальные нейроны в искусственных нейронных сетях» основана на почти десятилетнем исследовании интерпретации сверточных сетей, в ходе которого впервые было обнаружено, что многие классические методы могут быть непосредственно применены к CLIP. OpenAI использует два инструмента для понимания активаций модели: визуализацию функций (максимальная активация нейронов путем выполнения оптимизации на основе градиента на входе) и примеры наборов данных (наблюдение за распределением изображений нейронов с максимальной активацией в наборе данных).
С помощью этих простых методов OpenAI обнаружил, что можно объяснить большинство нейронов в CLIP RN50x4 (ResNet-50, увеличенный в 4 раза с помощью правил масштабирования EfficientNet). Эти нейроны кажутся крайними примерами «граненых нейронов», которые реагируют только на различные варианты использования на более высоком уровне абстракции.
Например, текст, лица, логотипы, здания, интерьеры, природа и позы демонстрируют разные эффекты для двух разных сезонов, лета и зимы:
Для двух разных стран, США и Индии, текст, лица, логотипы, здания, интерьеры, природа и жесты также показывают разные эффекты:
OpenAI был удивлен, обнаружив, что многие из этих категорий оказались зеркальными нейронами в медиальной височной доле пациентов с эпилепсией, зарегистрированными с помощью внутричерепных глубинных электродов, включая нейроны, которые реагируют на эмоции, животных и знаменитостей.
Однако исследование CLIP, проведенное OpenAI, выявило больше этих странных, но замечательных абстракций, в том числе нейроны, которые, кажется, считают, нейроны, которые реагируют на художественные стили, и даже изображения, имеющие следы цифровой модификации Юань.
Каков состав мультимодального нейрона?
Эти мультимодальные нейроны могут помочь нам понять, как CLIP выполняет классификацию. Используя разреженный линейный зонд, легко посмотреть на веса CLIP, чтобы увидеть, какие концепции объединяются для достижения окончательной классификации в наборе данных ImageNet.
Как показано на изображении ниже, копилка состоит из «финансового» нейрона и фарфорового (фарфорового) нейрона. Нейрон «Человека-паука» также действует как детектор пауков и играет важную роль в классификации «амбарных пауков».
Для классификации текста ключевой вывод OpenAI заключается в том, что понятия содержатся в нейронах аналогично целевой функции word2vec, которая почти линейна. Таким образом, эти понятия образуют единую алгебру, которая ведет себя как линейный зонд. Линеаризуя внимание, мы также можем исследовать произвольные предложения, как линейные зонды, как показано на следующем рисунке:
неправильная абстракция
Уровень абстракции CLIP раскрывает новый вектор атаки, который, по мнению OpenAI, не проявлялся в предыдущих системах. Как и во многих глубоких сетях, представление на самом высоком уровне модели полностью контролируется этими высокоуровневыми абстракциями. Однако то, что отличает CLIP, — это степень, и способность мультимодальных нейронов CLIP обобщать слова и символы может быть палкой о двух концах.
С помощью серии хорошо спланированных экспериментов OpenAI продемонстрировал, что это редуктивное поведение можно использовать, чтобы обманом заставить модель делать абсурдные классификации. Кроме того, OpenAI заметил, что активация нейронов в CLIP часто может контролироваться их реакцией на текстовые изображения, что обеспечивает простой вектор для атаки на модель.
Например, финансовые нейроны могут реагировать на копилки и строку символов валюты «$$$». Навязчиво активируя финансовые нейроны, мы можем обмануть модель CLIP, заставив классифицировать собаку как копилку. В частности, как показано на рисунке ниже:
дикая атака
OpenAI называет этот тип атаки «типографской атакой». Исследователи исчерпали способность модели CLIP надежно читать текст и обнаружили, что даже изображения рукописного текста могут обмануть модель. Как показано на рисунке ниже, лист бумаги с надписью «iPod» наклеен на поверхность зеленого яблока «Гренни Смит», и система ошибочно классифицирует его как «iPod».
Исследователи полагают, что такие атаки также могут проявляться в более изощренных и менее очевидных формах. Входные изображения CLIP имеют тенденцию быть абстрагированными во многих тонких и сложных формах, которые могут чрезмерно абстрагировать некоторые общие шаблоны — чрезмерное упрощение, которое, в свою очередь, приводит к чрезмерному обобщению.
Предвзятость и чрезмерное обобщение
Модель CLIP обучается на тщательно собранных изображениях из Интернета, но она по-прежнему наследует множество неисследованных предубеждений и ассоциаций. Исследователи обнаружили, что многие ассоциации в CLIP были доброкачественными, но другие были вредными, такими как умаление определенных лиц или организаций. Например, «ближневосточные» нейроны связаны с терроризмом, «иммиграционные» нейроны реагируют на Латинскую Америку, а некоторые нейроны даже реагируют на темнокожих людей и горилл. Это отражает проблему аннотации изображения, существовавшую в других более ранних моделях, что было неприемлемо.
Эти ассоциации создают большие проблемы для применения таких мощных систем машинного зрения. Будь то точная настройка или использование обучения с нулевым выстрелом, эти предубеждения и ассоциации, вероятно, останутся в системе, и они будут влиять на развертывание модели способами, видимыми или невидимыми. Многие виды предвзятого поведения трудно предсказать, а измерить и исправить их очень сложно. OpenAI считает, что эти инструменты интерпретируемости могут заранее обнаруживать ассоциации и дискриминацию, тем самым помогая практикам избежать потенциальных проблем.
OpenAI говорит, что их понимание CLIP продолжается, и неизвестно, будет ли выпущена большая версия модели CLIP.
Это исследование может открыть новые возможности для технологий искусственного интеллекта и даже исследований в области неврологии. «Поскольку мы не понимаем механику работы нейронных сетей, нам трудно понять, почему они работают неправильно», — сказал соучредитель и главный научный сотрудник OpenAI Илья Суцкевер. «Мы не знаем, надежны ли они и есть ли в них уязвимости, которые не были обнаружены при тестировании».
Кроме того, OpenAI выпустила инструменты для понимания моделей CLIP, такие как OpenAI Microscope, который недавно обновил визуализацию функций для каждого нейрона в CLIP RN50x4, примеры наборов данных и визуализацию текстовых функций. Подробнее см.:microscope.openai.com/models
Источник:microsoft.openlove.com/models/cont…
Исследователи также опубликовали веса CLIP RN50x4 и RN101, см. проект GitHub:github.com/openai/CLIP
Оригинальная ссылка:openlove.com/blog/мульти М…