Обычная модель глубокого обучения нуждается в 100 000 или миллионах данных на каждом шагу, но даже с таким большим количеством данных систему автономного вождения можно легко сломать наклейкой… В 2019 году мы видели, как глубокое обучение страдает. Все больше и больше сомнений, критики такие как Гэри Маркус, даже считают, что «глубокое обучение не работает». В таком сильном голосе сомнения, куда пойдет глубокое обучение? Йошуа Бенжио, один из лауреатов премии Тьюринга 2018 года, высказал свое мнение о будущем развитии глубокого обучения в интервью IEEE.
Он считает, что системы ИИ должны иметьРассуждения, планирование и воображениеСпособность,Причинный вывод, внимание, метаобучение, понимание законов физикиЭто очень важно для развития глубокого обучения в будущем. Кроме того, Бенжио ответил на вопрос Гэри Маркуса:Я сосредотачиваюсь на том, что нужно изучить, чтобы решить проблему, а не на том, кто прав, а кто виноват.".
Бенжио — профессор Университета Монреаля, где он внес большой вклад в применение нейронных сетей и, что не менее важно, упорно занимался исследованиями нейронных сетей в течение долгой зимы ИИ (конец 1980-х и 1990-е годы), когда нейронных сетей еще не было. быть увиденным.
С этой целью он и два других «фехтовальщика», Джеффри Хинтон и Янн ЛеКун, получили в 2018 году премию Тьюринга, известную как «Нобелевская премия в области вычислительной техники».
Сегодня все больше и больше обсуждений о ловушках глубокого обучения. IEEE Spectrum имел разговор с Бенгио, где возглавляет поле глубокого обучения, и Бенгио дал отчет о подобной теме «Из системы 1 глубокого обучения к системе 2 глубокого обучения» на конференции Neurips 2019.
Адрес отчета: https://nips.cc/Conferences/2019/Schedule?showEvent=15488
Глубокое обучение и его подводные камни
Что вы думаете об обсуждении ограничений глубокого обучения?
Йошуа Бенжио: Многие публичные конференции не понимают, как наука делается в таких дисциплинах, как ИИ: мы пытаемся понять ограничения существующих теорий и методов и расширить возможности наших интеллектуальных инструментов. Поэтому исследователи глубокого обучения ищут вещи, которые не работают должным образом, чтобы мы знали, что добавить и что исследовать.
Как ученый я сосредотачиваюсь на том, что нужно исследовать, чтобы решить проблему, а не на том, кто прав, а кто виноват.
Как бы вы оценили текущее состояние глубокого обучения?
Йошуа Бенжио: Думаю, на основе почти двух десятилетий прогрессаУровень искусственного интеллекта далеко от двухлетних,Некоторые алгоритмы имеют уровни восприятия, эквивалентные низшим животным.. Мы делаем успехи в разработке инструментов, позволяющих сущностям исследовать свое окружение.
Один из самых больших споров сейчас: какие элементы составляют высшее познание? Причинность является одним из них, как и рассуждение и планирование, воображение и присвоение кредита. В классическом ИИ исследователи пытаются уловить эти элементы, используя логику и символы. Некоторые люди думают, что классический ИИ может достичь этой цели или, по крайней мере, добиться некоторого прогресса.
Некоторые люди, как и я, думаютМы должны использовать инструменты, созданные в последние годы, для создания функций, подобных тому, как рассуждают люди., что на самом деле далеко от чисто логической системы, основанной на поиске.
Появление вычислений, вдохновленных мозгом
Как создать функции, подобные человеческому мышлению?
Йошуа Бенжио: Механизм внимания фокусирует вычисления на определенных элементах, наборе вычислений. Таковы люди, и это важная часть сознательной обработки. Когда вы что-то осознаете, вы сосредотачиваетесь на определенных элементах или идее, а затем переходите к другой идее. Это сильно отличается от стандартных нейронных сетей, которые выполняют массовую параллельную обработку.Внимание помогло нам добиться огромных успехов в компьютерном зрении, переводе и памяти, но я думаю, что это только начало другого стиля вычислений, вдохновленных мозгом..
Это не значит, что мы решили проблему, я думаю, у нас достаточно инструментов, чтобы начать решать проблему. Это не значит, что это будет легко. В 2017 году я написал статью «Предшествующее сознание», чтобы объяснить это. Несколько моих студентов работают над этой темой, и я думаю, что это будет долгосрочный проект.
Какие еще аспекты человеческого интеллекта вы хотели бы воспроизвести в ИИ?
Внимание является ключевым модулем в нем. Например, я перевожу книгу. При переводе каждого слова мне приходится просматривать небольшой раздел книги. Внимание позволяет уйти от множества неактуальных деталей и сосредоточиться на релевантном содержании. Выберите соответствующие элементы, вот что делает внимание.
Чему это соответствует для машинного обучения?
Йошуа Бенджио: Нейронной сети не нужно указывать, на что обращать внимание, в этом ее магия. Нейронные сети способны обучаться тому, сколько внимания или веса следует уделять каждому элементу в наборе возможных элементов.
научиться учиться
Как ваши недавние исследования причин и следствий связаны с этим?
Это связано с другой темой глубокого обучения, которая больше связана с человеческим разумом. Систематическое обобщение — это способность людей обобщать известные понятия, чтобы их можно было соединить новыми способами, которых раньше не было. В настоящее время машинное обучение не может этого сделать. Поэтому вы часто сталкиваетесь с проблемами, связанными с обучением модели на конкретном наборе данных. Если вы тренируетесь в одной стране, а развертываетесь в другой, вам необходимо обобщение и передача знаний. Как вы обучаете нейронную сеть, чтобы она продолжала хорошо работать или быстро адаптировалась, когда она мигрирует в новую среду?
Йошуа Бенжио: Мета-обучение сейчас является горячей темой,Мета-обучение учит тому, как учиться. Я написал статью «Изучение правила синаптического обучения» на эту тему в 1991 году, но только недавно у нас появилось достаточно вычислительных мощностей для ее реализации. Мета-обучение требует больших вычислительных ресурсов. Идея такова: чтобы обобщать на новую среду, вы должны практиковать обобщение на новую среду. Это кажется настолько простым, что даже дети делают это все время. Когда ребенок переходит из одной комнаты в другую, окружающая среда не статична, а меняется. В этот момент ребенок приучается быстро адаптироваться к окружающей среде. Для эффективного обучения они используют фрагменты знаний, полученных в прошлом. Мы понимаем эту возможность и создаем инструменты для ее воспроизведения.
Одно из критических замечаний по поводу глубокого обучения заключается в том, что оно требует огромных объемов данных. Это верно, если вы обучаете модель только одной задаче. Но дети могут учиться, используя очень мало данных, и они используют то, что узнали раньше. Но что еще более важно, они используют способность адаптироваться и обобщать.
«Эти идеи пока нельзя использовать в промышленности»
Будут ли эти идеи применены в реальном мире в ближайшее время?
Тем не менее, исследование может помочь решить два практических вопроса, представляющих интерес для промышленности. Одной из проблем является создание надежных систем, которые могут адаптироваться к изменениям в окружающей среде. Другой вопрос: как строить системы обработки естественного языка, диалоговые системы и виртуальных помощников? Проблема современных оптимальных систем глубокого обучения заключается в том, что они обучаются на основе массивных данных, но не могут по-настоящему понять язык, с которым имеют дело. Гэри Маркус и др. говорят: «Это может доказать, что глубокое обучение бесполезно».Интересно, давайте решим эту проблему. "
Физика, язык и здравый смысл
Как чат-боты могут стать лучше?
Йошуа Бенжио: В последнее время всеобщее внимание привлекло изучение языка с опорой на землю. Идея состоит в том, что системы ИИ должны учиться не только на тексте, но и на том, как устроен мир и как он описывается словами. Спросите себя: если ребенок взаимодействует с миром только через текст, сможет ли он понять мир? Я думаю, это тяжело.
Это включает в себя сознательное и бессознательное знание, причем последнее — это то, что мы знаем, но не можем назвать. Например, интуитивная физика. Двухлетние дети могут понять интуитивную физику и понять такие понятия, как гравитация, даже если они не знают теорем Ньютона.Сейчас многие люди пытаются построить системы, способные взаимодействовать с миром и открывать фундаментальные законы физики..
Почему базовые знания физики помогают в разговоре?
Йошуа Бенжио: Проблема с языком часто заключается в том, что система на самом деле не понимает всей сложности того, к чему относится это слово. Возьмем, к примеру, предложения из задачи Winograd Schema, чтобы понять их, вам нужно зафиксировать физику. Есть много предложений вроде «Джим хотел положить лампу в свой багаж, но она была слишком велика» (Джим хотел положить лампу в свой багаж, но она была слишком велика). fit box, то подлежащее «it» второго предложения должно относиться к предмету (а не к чемодану). Вы можете передать такое знание с помощью слов, но это не имеет ничего общего с «Типичный размер предмета багажа х на х».
Нам нужны системы понимания языка, которые могут понять мир. В настоящее время исследователи ИИ ищут короткие пути, но их недостаточно.Системы ИИ также должны понимать модели того, как устроен мир..