В последние несколько лет модели языка искусственного интеллекта стали очень хорошо справляться с некоторыми задачами. В частности, они хорошо предсказывают следующее слово в строке текста; эта технология помогает поисковым системам и приложениям для обмена сообщениями предсказывать следующее слово, которое вы собираетесь ввести.
Последнее поколение предиктивных языковых моделей, по-видимому, также способно изучать некоторые основные значения языка. Эти модели могут не только предсказывать следующее слово, но и выполнять задачи, которые, как кажется, требуют определенного уровня реального понимания, например, отвечать на вопросы, документировать резюме и составлять рассказы.
Такие модели предназначены для оптимизации производительности конкретной функции предсказания текста, не пытаясь имитировать что-либо в отношении того, как человеческий мозг выполняет эту задачу или понимает язык. Но новое исследование нейробиологов Массачусетского технологического института предполагает, что основные функции этих моделей аналогичны функциям центров обработки речи в человеческом мозгу.
Компьютерные модели, которые хорошо справляются с другими типами языковых задач, не продемонстрировали этого сходства с человеческим мозгом, что свидетельствует о том, что человеческий мозг может использовать предсказание следующего слова для управления языковой обработкой.
Нэнси Канвишер, профессор когнитивной неврологии Уолтера-А-Розенблиса, член Института исследований мозга Макговерна Массачусетского технологического института и Центра изучения мозга, разума и машин (CBMM) и автор нового исследования. предсказывая следующее слово, тем ближе оно к человеческому мозгу. «Удивительно, как модели так хорошо подходят друг другу, это очень косвенно предполагает, что, возможно, то, что делает система человеческого языка, предсказывает, что произойдет дальше».
Джошуа Тененбаум, профессор вычислительной когнитивной науки в Массачусетском технологическом институте и член Лаборатории искусственного интеллекта CBMM и Массачусетского технологического института (CSAIL), и Эвелина Федоренко, адъюнкт-профессор Фредерика А. и Кэрол Дж. Миддлтон по развитию карьеры в области неврологии и член Института Макговерна является старшим автором исследования, которое было опубликовано на этой неделе вТруды Национальной академии наук"начальство. Мартин Шримпф, аспирант Массачусетского технологического института, работающий в CBMM, является первым автором статьи.
делать предсказания
Новая высокопроизводительная модель прогнозирования следующего слова принадлежит к классу, называемомуглубокая нейронная сетьмодель. Эти сети содержат вычислительные «узлы», образующие соединения различной силы, а также слои, которые передают информацию друг другу заданными способами.
За последнее десятилетие ученые использовали глубокие нейронные сети для создания моделей зрения, которые могут напоминать мозг приматов.Идентифицировать объекты. Исследование Массачусетского технологического института также показывает, что основные возможности моделей визуального распознавания объектовизрительная кора приматоворганизация, чтобы соответствовать, хотя эти компьютерные модели не предназначены специально для имитации мозга.
В новом исследовании команда Массачусетского технологического института использовала аналогичный подход для сравнения центров обработки речи и моделей обработки речи в человеческом мозгу. Исследователи проанализировали 43 различных языковых модели, в том числе несколько оптимизированных для предсказания следующего слова. К ним относится модель под названием GPT-3 (Generative Pre-trained Transformer 3), которая по сигналу может генерировать текст, аналогичный тому, что может создать человек. Другие модели предназначены для выполнения различных языковых задач, таких как заполнение пропусков в предложении.
Когда каждой модели была представлена строка слов, исследователи измерили активность узлов, составляющих сеть. Затем они сравнили эти паттерны с активностью человеческого мозга, измеренной у испытуемых, которые выполняли три языковых задания: слушали историю, читали предложение за раз и читали предложение по одному слову за раз. Эти наборы данных о людях включают данные функционального магнитного резонанса (фМРТ) и измерения внутричерепной электрокортикографии у людей, перенесших операцию на головном мозге по поводу эпилепсии.
Они обнаружили, что модели активности самых эффективных моделей предсказания следующего слова очень напоминают активность человеческого мозга. Активность в этих же моделях также сильно коррелирует с показателями человеческого поведения, например, с тем, насколько быстро люди могут читать текст.
«Мы обнаружили, что модели, которые хорошо предсказывали нейронные реакции, также, как правило, лучше всего предсказывали поведенческие реакции человека в форме времени чтения. Затем оба были объяснены производительностью модели при предсказании следующего слова», — сказал Шримпф: «Этот треугольник действительно связывает все вместе. .
«Ключевым следствием этой работы является то, что обработка речи — это проблема, имеющая серьезные ограничения: как показано в этой статье, лучшие решения, созданные инженерами ИИ, в конечном итоге аналогичны решениям, найденным в ходе эволюционного процесса, создавшего человеческий мозг». Стэнфорд «С тех пор, как сети ИИ не стремитесь напрямую имитировать мозг — но в конечном итоге получите похожий на мозг — это говорит о том, что в некотором смысле между искусственным интеллектом и природой произошла конвергентная эволюция», — он не участвовал в исследовании.
игра чейнджер
Одной из ключевых вычислительных особенностей прогностических моделей, таких как GPT-3, является элемент, известный как прямой однонаправленный прогностический преобразователь. Этот преобразователь может делать прогнозы о том, что будет дальше, на основе предыдущей последовательности. Важной особенностью этого преобразователя является то, что он может делать прогнозы на основе очень длинных предшествующих контекстов (сотни слов), а не только нескольких последних слов.
По словам Тененбаум, ученым еще предстоит открыть какие-либо схемы мозга или механизмы обучения, соответствующие этому типу обработки. Тем не менее, новые результаты согласуются с ранее выдвинутой гипотезой о том, что предсказание является одной из ключевых функций обработки речи, сказал он.
«Одной из проблем языковой обработки является ее работа в режиме реального времени», — сказал он. «Язык приходит, и вы должны идти в ногу с ним и быть в состоянии понять его в режиме реального времени».
Теперь исследователи планируют создать варианты этих моделей обработки языка, чтобы увидеть, как небольшие изменения в их архитектуре влияют на их производительность и способность адаптироваться к нейронным данным человека.
«Для меня этот результат изменил правила игры, — сказал Федоренко. «Это полностью изменило мою исследовательскую программу, потому что я не ожидал, что в своей жизни мы получим эти вычислительно явные модели, которые достаточно уверены в мозге, что мы действительно можем использовать их, чтобы понять принцип работы мозга».
Исследователи также планируют попробовать объединить эти высокопроизводительные языковые модели с некоторыми компьютерными моделями, ранее разработанными в лаборатории Тененбаум, которые могут выполнять другие типы задач, такие как построение перцептивных представлений физического мира.
«Если мы сможем понять, что делают эти языковые модели и как они могут быть связаны с моделями, которые больше похожи на восприятие и мышление, то это может дать нам более полные модели того, как вещи работают в мозгу», — сказал Тененбаум. «Это может привести нас к более совершенным моделям искусственного интеллекта, а также позволит нам иметь лучшие модели того, как работает больше мозга и как появляется интеллект в целом, чем мы имели в прошлом.
Это исследование было поддержано стипендиями Takeda Fellowships, MIT Shoemaker Fellowships, Semiconductor Research Corporation, MIT Media Lab Consortium, MIT Singleton Fellowships, MIT Presidential Graduate Fellowships, McGonagall Friends of the MIT Fellowship, MIT Center for Brains, Minds, and Machines (через Национальный Научный фонд), Национальные институты здравоохранения, Департамент мозга и когнитивных наук Массачусетского технологического института и Институт Макговерна.
Другими авторами статьи являются 16-летний доктор Идан Бланк и аспиранты Грета Тукуте, Карина Кауф и Эгбар Хуссейни (Эгбал Хоссейни).