Краткий комментарий:ИИ, машинное обучение и глубокое обучение являются горячими областями в последние годы, но мы должны четко понимать ограничения глубокого обучения, то есть, хотя непрерывное геометрическое преобразование может использоваться для отображения X в Y, ему не хватает способности рассуждать и абстрагироваться. . Образцов обучающей выборки недостаточно, а некоторые данные не могут быть представлены непрерывными геометрическими преобразованиями. Хотя сейчас машинное обучение может изменить правила игры во многих отраслях, до гуманизированного ИИ еще далеко.
Глубокое обучение: представление геометрии
Самое удивительное в глубоком обучении то, что оно упрощает сложность. Десять лет назад никто и подумать не мог, что таких потрясающих результатов в машинном восприятии можно добиться, обучив простую параметрическую модель градиентным спуском. Теперь оказывается, что вам просто нужно рассмотреть достаточное количество примеров и большое количество необходимых вам параметрических моделей. Фейнман однажды описал вселенную так: «Она не сложна, ее просто много».
В глубоком обучении все является вектором, т. е. всеточка в геометрическом пространстве. Вход модели (это может быть текст, изображения и т. д.) и цель сначала «векторизуются», т.е. в некоторое начальное входное векторное пространство и целевое векторное пространство. Каждый слой в модели глубокого обучения выполняет простое геометрическое преобразование данных, проходящих через него. Вместе цепочка слоев модели образует очень сложное геометрическое преобразование, которое затем раскладывается на ряд простых геометрических преобразований. Это сложное преобразование пытается сопоставить входное пространство с целевым пространством по одной точке за раз. Это преобразование изменяется в соответствии с весовыми параметрами различных слоев, которые итеративно обновляются в зависимости от того, насколько хорошо работает модель в данный момент.Ключевой особенностью этого геометрического преобразования является то, что оно должно быть дифференцируемым., что необходимо для изучения его параметров с помощью градиентного спуска.Интуитивно это означает, что геометрическая деформация от входа к выходу должна быть плавной и непрерывной.
Весь процесс заключается в преобразовании сложной геометрии во входные данные.
В этом заключается магия глубокого обучения: преобразовывать значения в векторы, в геометрические пространства, а затем постепенно изучать сложные геометрические преобразования, которые отображают одно пространство в другое.
Ограничения глубокого обучения
С помощью простых стратегий у нас могут быть почти безграничные возможности применения. Тем не менее, даже с большим количеством данных, аннотированных человеком, все еще остается много глубокого обучения, которое невозможно выполнить. Например, вы можете создать набор данных, который может состоять из сотен, тысяч, сотен тысяч или даже миллионов языков для описания функциональности программного продукта. Даже с этими данными выневозможноОбучите модель глубокого обучения простому чтению описаний продуктов и созданию соответствующих кодовых баз. Это только один из примеров. В общем, любое программирование, требующее рассуждений или прикладных научных методов (долгосрочное планирование и манипулирование данными, подобное алгоритму), независимо от того, сколько данных вы в него вбрасываете, модель глубокого обучения не может этого сделать. Даже изучение алгоритмов сортировки с помощью глубоких нейронных сетей труднодостижимо.
Это потому, что модель глубокого обучения «простая».непрерывная цепь геометрических преобразований,Сопоставьте одно векторное пространство с другим. Все, что он может сделать, это пометить данные X и связать их с данными Y, предполагая, что существует обучаемое непрерывное преобразование из X в Y и что имеется плотный обучающий набор XY, модель глубокого обучения может быть создана. ноБольшинство программ нельзя назвать моделями глубокого обучения- Для большинства задач либо нет соответствующих практически многих глубоких нейронных сетей для решения задачи, либо даже если нейронная сеть существует, она может быть не в состоянии самостоятельноучиться, то есть соответствующее геометрическое преобразование может быть слишком сложным, или отсутствует базовый набор данных, который можно было бы выучить в качестве эталона.
Расширение существующих методов глубокого обучения за счет наложения большего количества слоев и использования большего количества обучающих данных может лишь поверхностно облегчить некоторые из этих проблем. Они представляют собой очень ограниченный диапазон, который не решает более фундаментальные проблемы моделей глубокого обучения, и, кроме того, большинство программ, которые могли бы использовать глубокое обучение, не могут быть представлены множеством непрерывных геометрических деформаций данных.
Риски антропоморфных моделей машинного обучения
Очень заметным риском современного ИИ является «непонимание глубокого обучения и переоценка его возможностей». Фундаментальная особенность человеческого мышления заключается в том, что, согласно «теориям и системам мышления» человеческого рода, мы склонны навязывать человеческие намерения, убеждения и понимание происходящему вокруг нас. Это как нарисовать смайлик на камне, это как смеяться, это наше воображение. Например, в глубоком обучении, когда мы можем с некоторым успехом обучить модель, которая видит изображение и генерирует заголовок, мы часто ошибочно принимаем модель за «понимание» содержания изображения для создания заголовка. Затем мы были бы очень удивлены, когда небольшое отклонение от типа изображений, присутствующих в обучающих данных, заставило модель начать создавать совершенно нелепые подписи.
Часто встречаются «состязательные кейсы», которые могут доказать уязвимость их распознавания, а входные кейсы будут специально ставить некоторые образцы обманчивых моделей в качестве входных данных для глубокого обучения. При градиентном восхождении изображение можно немного изменить, чтобы максимизировать предсказание класса для данного класса. Сфотографировав панду и добавив градиент «гиббон», мы увидим, что нейронная сеть классифицирует панду как гиббона. Это демонстрирует хрупкость этих моделей и глубокую разницу между отображениями ввода-вывода, которыми они оперируют, и нашим собственным человеческим восприятием.
(Поместите гиббона в обучающий набор, и нейросеть определит, что панда на фото — гиббон)
Наше собственное человеческое понимание изображений, звуков и языка основано на нашем чувственном опыте как людей, так и земных существ.Это чувство и понимание недоступны моделям машинного обучения., поэтому машинное обучение не может быть востребовано человеческими органами чувств. Аннотируя большое количество обучающих примеров для заполнения нашей модели, мы позволяем им изучить геометрическое преобразование, которое сопоставляет данные с этим конкретным набором примеров, но это сопоставление является просто простым наброском исходной модели в нашем уме, и машинное обучение действует подобно Те, кто осуществляет человеческое мышление, но не имеет эмоций и понимания, их кодекс поведения дан людьми.
Как специалист по машинному обучению, всегда помните об этом и никогда не попадайте в ловушку, думая, что нейронные сети понимают задачи, которые они выполняют..
Локальное обобщение против экстремального обобщения
Существует фундаментальная разница между прямой геометрической деформацией входа и выхода модели глубокого обучения и тем, как люди думают и учатся. Люди постоянно учатся на основе самопознания и внешнего опыта, что отличается от пути обучения машинного обучения.В дополнение к различным процессам обучения существуют фундаментальные различия в природе лежащих в основе представлений.
Люди остаются сложными,абстрактные модели мышления и поведения, и может использовать эти модели для прогнозирования различных будущих возможностей и выполнения долгосрочного планирования. Люди способны объединять воедино известные концепции, даже то, с чем они никогда раньше не сталкивались, например, увидеть лошадь в джинсах и выиграть в лотерею, что бы они сделали. Эта способность иметь дело с предположениями, усложняющими наши ментальные модели, возможно, является определяющей характеристикой человеческого познания. Я называю это «крайним обобщением»: способность приспосабливаться к новизне, никогда ранее не испытанной ситуации, используя очень мало или совсем не используя новые данные.
Это резко контрастирует с глубокими нейронными сетями, которые я называю «локальным обобщением»: если новый ввод отклоняется от предыдущего обучающего набора, даже небольшая разница ускорит ввод и вывод частоты ошибок глубокой нейронной сети, тем самым остановив все. . Например, чтобы решить задачу посадки ракеты на Луну с помощью глубокого обучения, нужны правильные параметры запуска. Выполнение этой задачи с помощью глубоких нейронных сетей, независимо от того, обучены ли они с помощью обучения с учителем или обучения с подкреплением, должно быть дополнено тысячами или даже миллионами стартовых испытаний, т.е.плотная выборка, чтобы выполнить надежное отображение из входного пространства в выходное пространство. Напротив, люди могут использовать свою абстракцию, чтобы придумывать физические модели «ракетостроения» и придумывать одну из нескольких экспериментов.точныйРешение, отправка ракеты на Луну.
В качестве другого примера, если вы разработаете нейронную сеть, которая управляет человеческим телом, и хотите, чтобы она могла перемещаться по городу, не будучи сбитым какой-либо машиной, человек, управляемый нейронной сетью, умрет в любой ситуации тысячи раз, пока можно оценить положение транспортного средства и различные опасности, а также сформулировать и выполнить поведение уклонения. И чтобы отправиться в новый город, нейронной сети приходится переучивать большую часть своих знаний. Люди, в свою очередь, способны научиться безопасному поведению без мертвого процесса проб и ошибок благодаря абстрактному моделированию человеческих гипотетических ситуаций.
Короче говоря, несмотря на наш прогресс в машинном восприятии, мы все еще далеки от перцептивного человеческого ИИ: наши модели могут выполнять тольколокальное обобщение, адаптируясь к новым ситуациям очень близко к прошлым данным, в то время как человеческое познание можеткрайнее обобщение, быстро адаптироваться к смелым и новым ситуациям или планировать долгосрочные будущие ситуации.
в заключении
Вот что вы должны иметь в виду: единственным реальным успехом глубокого обучения до сих пор была способность отображать пространство X в пространство Y с использованием непрерывных геометрических преобразований, но также с учетом больших объемов данных, аннотированных человеком. Делая все это хорошо, можно изменить правила игры в любой отрасли, но до более удобного для человека ИИ еще далеко.
Чтобы ИИ смог преодолеть эти ограничения и начать конкурировать с человеческим мозгом, нам нужно выйти за рамки «простого сопоставления ввода-вывода» и сосредоточиться нарассуждениеиАннотация.
Знать столбец:Аврора Ежедневно
Оригинальная ссылка:The limitations of deep learning
Jiguang Daily, побочный проект разработчиков Jiguang, предлагает вам ежедневно читать три иностранных технических статьи Добро пожаловать, чтобы внести свой вклад и уделить внимание.