Для получения дополнительных галантерейных товаров, пожалуйста, обратите внимание на публичный аккаунт WeChat «AI Frontline» (ID: ai-front)
Это повторяющаяся тема в научной фантастике на протяжении десятилетий, но благодаря быстрому развитию искусственного интеллекта за последние несколько лет дебаты возобновились и усилились. Все больше средств массовой информации и основных голосов начинают предупреждать нас о появлении ОИИ, которое, как они утверждают, произойдет намного быстрее, чем мы думаем. Например, недавно вышел новый документальный фильм: «Вы верите в этот компьютер? » был профинансирован Илоном Маском, и после его премьеры он привлек множество экспертов по ИИ из академических кругов и промышленности. Документальный фильм рисует потрясающую картину искусственного интеллекта, «новых форм жизни на Земле», которые будут окружать нас «своими щупальцами». Растущее число историй указывает на пугающий аспект ИИ: например, творения, которые могут заменить реальность (фальшивые генераторы лиц знаменитостей и дипфейки, возможно, с генерацией видео и синтезом речи в ближайшем будущем), Boston Dynamics. последний: роботы совместно открывают дверь) и отчеты о том, что искусственный интеллект Google становится «крайне агрессивным».
Однако, как инвестор, проведший немало времени в «окопах» ИИ, я испытал на эту тему немало когнитивного диссонанса. Я каждый день разговариваю со многими предпринимателями, занимающимися ИИ, и понимаю, что ситуация совершенно иная: даже если вы решаете конкретную проблему, нанимаете профессионального инженера по машинному обучению и привлекаете миллионы долларов венчурного капитала, все равно сложно построить Продукт ИИ для реального мира. Понятно, что даже «узкий» ИИ далек от того, чтобы работать должным образом, когда его нужно выполнять 100% времени в реальном мире, о чем свидетельствуют самые трагические недавние смертельные случаи из-за автономного вождения.
Так что же такое реальность? Экспоненциальное развитие технологий заставило искусственный интеллект казаться будущим, но внезапно мы обнаружили, что это не так. Мы приближаемся к переломному моменту?
Во многих статьях об ИИ говорится о том, как создавать приложения и стартапы с ИИ, и в этой статье я, кажется, плыву вверх по течению в мире исследований ИИ, пытаясь понять, кто чем занимается и какие новые вещи могут предложить исследовательские лаборатории ИИ. изобретать. Несколько недель назад я имел удовольствие посетить отличный семинар Canonical Computation in Brains and Machines в Нью-Йоркском университете, который меня особенно вдохновил и стал основным источником этого поста.
Сообщения о резком росте активности стартапов в области ИИ продолжают поступать: согласно отчету за 2017 год, в стартапы в области ИИ вложено 15,2 млрд венчурных инвестиций, но то же самое происходит и в исследованиях ИИ.
Общее количество статей в области ИИ резко возросло с 2012 года, и даже были такие проекты, как Arxiv Sanity Preserver, браузер с доступом к более чем 45 000 статей, запущенный Андреем Карпати, потому что «все серьезно вышло из-под контроля». .
NIPS — это научная конференция высокого уровня, которая началась в 1987 году. Раньше это было небольшое, малоизвестное мероприятие, но к 2017 году в нем приняли участие 8000 человек.
Исследования ИИ становятся все более глобальными. Помимо университетов в Соединенных Штатах (таких как лаборатория MIT CSAIL), в Канаде есть несколько современных исследовательских центров ИИ (в частности, Торонто, Университет Торонто и новый институт Vector, а также Монреаль, в том числе МИЛА), Европа (Лондон, Париж, Берлин), Израиль. Кроме того, в Китае становится все больше и больше ученых. Интересно, что в научных кругах ИИ появляется все больше и больше блестящих молодых ученых, в том числе подростков, технически подкованных и дальновидных, по-видимому, в результате демократизации инструментов ИИ и образования.
Еще одна важная тенденция заключается в том, что все больше и больше фундаментальных исследований ИИ переходят в крупные интернет-компании. Конечно, эта модель лабораторий, спонсируемых корпорациями, таких как Bell Labs, не нова. Но этот режим — совершенно другой ландшафт в области ИИ. Alphabet и Google соответственно владеют Deepmind (стартап 2014 года, в котором сейчас работает команда из 700 человек, занимающихся базовым искусственным интеллектом, под управлением Демиса Хассабиса) и Google Brain (основанная в 2011 году Джеффом Дином, Грегом Коррадо и Эндрю Нг) была основана в 2009 году. , и больше касается применения искусственного интеллекта). В Facebook есть лаборатория FAIR, которую возглавляет Ян ЛеКун, один из отцов глубокого обучения. У Microsoft есть MSR AI. Uber владеет лабораторией Uber AI Labs, приобретенной у нью-йоркского стартапа Geometric Intelligence. У Alibaba есть лаборатория искусственного интеллекта Alibaba, у Baidu — научно-исследовательский институт Baidu, а у Tencent — лаборатория искусственного интеллекта Tencent.
Эти промышленные лаборатории обладают обширными ресурсами и могут платить миллионы долларов за привлечение лучших исследователей. В беседах с исследователями ИИ постоянно повторяется то, что если стартапы изо всех сил пытаются привлечь аспирантов в области машинного обучения, академическим кругам будет труднее их удержать.
Многие из вышеупомянутых лабораторий явно или неявно занимаются общим искусственным интеллектом (AGI).
Кроме того, исследования ИИ, особенно в промышленных лабораториях, имеют доступ к двум очень важным ресурсам: данным и вычислительной мощности.
В настоящее время доступен для обучения искусственного интеллектаданныеВсе больше и больше интернет-гигантов, таких как Google и Facebook, имеют большое преимущество в разработке общих решений ИИ. Похожая ситуация наблюдается в Китае, где огромные пулы данных объединяются для обучения интеллектуальному распознаванию лиц, причем наибольшие выгоды получают такие стартапы-единороги, как Megvii (он же Face++) и SenseTime. В 2017 году Китай запустил программу под названием «Проект Сюэ Лян» для централизованного мониторинга и обработки камер наблюдения (общественных и частных) из более чем 50 китайских городов.
Помимо данных, еще одним изменением, которое может привести к AGI, являетсяОгромное ускорение вычислительной мощности, особенно в последние годы. Это результат прогресса в использовании существующего оборудования и создании нового высокопроизводительного оборудования специально для ИИ со скоростью,Превышает закон Мура.
Команда, выигравшая конкурс ImageNet в 2012 году, использовала 2 графических процессора для обучения своих сетевых моделей. В то время это занимало от 5 до 6 дней и уже считалось самой быстрой скоростью обучения. В 2017 году Facebook объявил, что им удалось обучить ImageNet с использованием 1 GPU за 256 часов. Всего несколько месяцев спустя японская команда из Preferred Networks побила этот рекорд, обучив ImageNet всего за 15 минут с использованием 1024 графических процессоров NVIDIA Tesla P100.
Но это может быть просто упражнением для разминки, поскольку сейчас мир стремится создавать все более мощные чипы ИИ и оборудование, которое их окружает. В 2017 году Google выпустила второе поколение Tensor Processing Units (TPU), специально разработанное для ускорения задач машинного обучения. Каждый TPU может обеспечить производительность 180 терафлопс (для логического вывода и обучения моделей машинного обучения). Эти TPU могут быть объединены в кластеры для создания суперкомпьютеров — систем из 1000 облачных TPU, доступных для исследователей ИИ, желающих открыто делиться своей работой.
В кругу стартапов также есть много активных и хорошо финансируемых новых аппаратных компаний, таких как Cerebras, Graphcore, Wave Computing, Mythic и Lambda, а также китайские стартапы Horizon Robotics, Cambricon и DeePhi.
Наконец, появляются новые аппаратные инновации, связанные с квантовыми и оптическими вычислениями. Хотя с точки зрения исследований они все еще находятся на ранних стадиях, и Google, и IBM добились значительного прогресса в области квантовых вычислений, что выведет ИИ на новую фазу развития.
Огромный рост вычислительной мощности открыл двери для обучения искусственного интеллекта с помощью все больших объемов данных. Это также позволяет исследователям ИИ быстрее проводить эксперименты, ускорять прогресс и создавать новые алгоритмы.
Одна из вещей, которую OpenAI (некоммерческая исследовательская лаборатория Илона Маска) подчеркивала, заключается в том, что мощь искусственного интеллекта поразила нас, когда пять лет назад алгоритмы работали на относительно скромном оборудовании — кто знал, что у нас есть такие виды вычислений сейчас. Что происходит с возможности? (См. сообщение в блоге Грега Брокмана, технического директора OpenAI о TWiML и AI: на пути к общему искусственному интеллекту с Грегом Брокманом.)
Конкурс ImageNet 2012 года был в значительной степени подпитан глубоким обучением и привел к ошеломляющему возрождению искусственного интеллекта. Этот статистический метод, впервые предложенный и усовершенствованный несколькими исследователями ИИ, в том числе Джеффом Хинтоном, Яном Лекуном и Йошуа Бенжио, включает в себя многоуровневый подход к постепенному улучшению результатов (статья, опубликованная в Nature 2015: Deep Learning). Это древняя технология, которая восходит к 1960-м, 1970-м и 1980-м годам, но когда было предоставлено достаточно данных и вычислительной мощности, она внезапно показала свою истинную мощь.
Разработка почти каждого продукта ИИ основана на глубоком обучении, от Alexa до применения ИИ в радиологии и пародийного программного обеспечения «это хот-дог» в сериале HBO «Силиконовая долина». Было показано, что глубокое обучение очень эффективно при различном распознавании речи, классификации изображений, распознавании объектов и некоторых языковых проблемах.
С точки зрения ОИИ, глубокое обучение пробуждает воображение, потому что оно может делать гораздо больше, чем запрограммировано, например, заставить машины группировать изображения или слова вокруг идей (например, «Нью-Йорк» и «Америка»), не сообщая изображениям явно. или слова о наличии связи (например, «Нью-Йорк находится в США»). Сами исследователи ИИ не совсем понимают, почему глубокое обучение делает это.
Интересно, однако, что в то время как другие начинают широко использовать глубокое обучение от потребительских до корпоративных приложений,Сообщество исследователей ИИ задается вопросом, идет ли оно по наклонной. Сам Джефф Хинтон оспорил на конференции в сентябре 2017 года обратное распространение, которое является ядром изобретенной им нейронной сети, и предложил всем начать с нуля, что внесло определенный шок в область исследований ИИ. Гэри Маркус выразил десять опасений по поводу глубокого обучения в статье от января 2018 года, утверждая, что «глубокое обучение должно быть дополнено другими методами, если мы хотим достичь общего искусственного интеллекта».
Большая часть обсуждения, кажется, сосредоточена на «контролируемом» обучении — необходимости показывать большое количество помеченных примеров, чтобы научить машину распознавать похожие шаблоны.
Сообщество исследователей ИИ теперь, похоже, согласно с тем, что для достижения ОИИ необходимы дополнительные усилия и внимание к неконтролируемому обучению — обучению без помеченных данных. Существует множество вариантов неконтролируемого обучения, включая автоэнкодеры, сети глубокого убеждения и GAN.
GAN, или «генеративные состязательные сети», — это относительно новый подход, непосредственно связанный с неконтролируемым глубоким обучением, впервые предложенный Ланом Гудфеллоу в 2014 году, когда он был аспирантом в Монреальском университете. GAN тренируются на одних и тех же данных, создавая конкуренцию между двумя нейронными сетями. Одна сеть (генератор) выдает максимально реалистичный вывод (как фото); другая сеть (дискриминатор) сравнивает фото с обучающим набором данных и пытается отличить, является ли каждое фото реальным или поддельным; затем генератор настраивает свои параметры, генерирует новое изображение, а затем продолжайте цикл. У GAN уже есть свои варианты, причем несколько версий GAN появятся в течение 2017 года (WGAN, BEGAN, CycleGan, Progressive GAN). Последний метод постепенного обучения GAN был использован NVIDIA для создания фотографий лиц фальшивых знаменитостей с высоким разрешением.
Еще одна родственная область с такой же скоростью развития —обучение с подкреплением- ИИ может научить себя делать что-то, пробуя это снова и снова, отделяя хорошее действие (за которое можно вознаградить) от плохого и каждый раз меняя свой подход, пока не овладеет действием. Обучение с подкреплением — еще один метод, который восходит к 1950-м годам и долгое время считался интересной, но не очень полезной идеей.
Однако все изменилось в конце 2013 года, когда DeepMind, независимый стартап, научил ИИ играть в 22 игры для Atari 2600, все на сверхчеловеческом уровне. В 2016 году ИИ AlphaGo, обучающийся с подкреплением, победил южнокорейского мастера го Ли Седоля. Всего несколько месяцев назад, в декабре 2017 года, AlphaZero, более обобщенная и более мощная версия AlphaGo, использовала тот же метод для освоения не только го, но и шахмат и сёги. Не имея чьего-либо руководства, кроме правил игры, AlphaZero научилась стать гроссмейстером всего за четыре часа. В течение 24 часов AlphaZero смогла победить все современные программы искусственного интеллекта (Stockfish, elmo и трехдневную версию AlphaGo) в этих трех играх.
Насколько AlphaZero близок к общему искусственному интеллекту? Демис Хассабис, генеральный директор DeepMind, назвал стиль AlphaZero «инопланетным», потому что он выигрывал игры исключительно за счет нелогичных действий, таких как жертвование фигур. Наблюдать за тем, как компьютерная программа выводит самую сложную человеческую игру на уровень мирового уровня всего за несколько часов, — это пугающий опыт, который близок к некоторой форме интеллекта.
Теория возражения, возникшая в области ИИ, заключается в том, что процесс обучения AlphaZero на самом деле является алгоритмом грубой силы: AlphaZero обучается, играя с 5000 TPU первого поколения и 64 TPU второго поколения. После обучения его нужно запустить на машине с 4 TPU. При обучении с подкреплением исследователи ИИ отмечают, что ИИ не знает, что он на самом деле делает (например, играет в игру), а ограничивается только конкретными ограничениями, которые ему заданы (правилами игры). См. эту запись в блоге: Действительно ли AlphaZero является научным прорывом? .
Когда дело доходит до ОИИ или даже машинного обучения в целом, некоторые исследователи возлагают большие надежды на трансферное обучение. Например, Дипи Хасаби из DeepMind называет трансферное обучение «ключом к общему интеллекту». Трансферное обучение — это метод машинного обучения, при котором модель, обученная одной задаче, перенацеливается на вторую связанную задачу. Идея состоит в том, что с предварительными знаниями, полученными из первой задачи, ИИ может работать лучше, обучаться быстрее и требовать меньше помеченных данных. По сути, надежда состоит в том, что это поможет ИИ быть более «общим», переходить от задачи к задаче и от домена к домену, особенно в тех случаях, когда помеченные данные недоступны (см. «Сводка новостей: передача машинного обучения на следующем рубеже»).
Если AGI должен полагаться на перенос обучения, ИИ должен иметь возможность передавать обучение между все более удаленными задачами и областями, что потребует повышенной абстракции. По словам Хассабиса, «ключ к передаче обучения - это приобретение концептуальных знаний, которые абстрагируются от деталей восприятия, которые вы изучаете». Мы еще не на этой стадии. Трансферное обучение всегда было сложной задачей — там, где задачи тесно связаны, оно работает хорошо, но дальше оно становится намного сложнее. А ведь это ключевая область исследований ИИ.
Значительный прогресс был достигнут с проектом DeepMind PathNet (обзор: DeepMind только что опубликовала умопомрачительную статью: PathNet.), который представляет собой сеть нейронных сетей. Есть еще один пример из области: всего несколько дней назад OpenAI запустил соревнование по передаче обучения, чтобы оценить способность алгоритма обучения с подкреплением обобщать предыдущий опыт, алгоритм пройдет 30 видеоигр SEGA «старой школы» для оценки.
Рекуррентные корковые сети (RCN) являются еще одним многообещающим подходом. Разработанный стартапом Vicarious из Силиконовой долины, RCN недавно использовался для решения текстового теста CAPTCHA (полностью автоматический тест Тьюринга, позволяющий отличить компьютеры от людей) с высокой точностью, в случае эталонных тестов распознавания текста сцены, с использованием данных более 300 раз. меньше, чем у оппонента (статья: Модель генеративного зрения, которая обучается с высокой эффективностью данных и разбивает текстовые CAPTCHA).
Благодаря последним технологическим достижениям многие подходы были рассмотрены, разработаны или повторно исследованы, в том числе: капсульные сети Джеффри Хинтона (CapNets), модели нейронного внимания, обучение на основе одной выборки, дифференцируемые нейронные компьютеры (DNC), нейроэволюция, эволюционные стратегии и т. д. , еще одно свидетельство взрывного динамизма исследований ИИ.
Все методы, описанные до сих пор, являются математическими и статистическими по своей природе и для достижения успеха зависят от огромных объемов вычислительной мощности и данных. В то время как простое создание и усовершенствование таких алгоритмов продемонстрировало значительную эффективность, распространенная критика этих подходов заключается в том, что машины все еще не могут начать или изучить принципы. AlphaZero не знает, что играет в игру или что это за игра.
Растущее количество идей в исследованиях переосмысливает основные принципы искусственного интеллекта, в том числе то, как работает человеческий мозг и как работает детский мозг. Хотя первоначально нейронные сети были вдохновлены человеческим мозгом (отсюда и название «нейронный»), они быстро отошли от биологии. Распространенным примером является то, что обратное распространение по своей сути не имеет эквивалентного механизма в природе.
Научить машину учиться, как ребенок, было одной из старейших идей в области искусственного интеллекта в 1950-х годах, в эпоху Тьюринга и Мински, но она набирает силу по мере развития области искусственного интеллекта и нейронауки.
На пересечении ИИ и нейронауки находится вышеупомянутый семинар «Обычные вычисления для мозга и машин». В то время как эти две области все еще знакомятся друг с другом, ясно, что некоторые мыслители ИИ начинают уделять все больше и больше внимания исследованиям, вдохновленным нейронаукой, в том числе Янн ЛеКун, крестный отец глубокого обучения (видео: каковы принципы обучение у новорожденных?) и Йошуа Бенжио (Видео: Преодоление разрыва между глубоким обучением и неврологией).
Особенно перспективную область исследований предложил Джош Тененбаум, профессор когнитивных наук и вычислений в Массачусетском технологическом институте. Ключевой частью работы Тененбаум является сосредоточение внимания на построении количественных моделей обучения младенцев или детей, а не на том, что она унаследовала от эволюции, что он называет «интуитивной физикой» и «интуитивной психологией». Его работе способствовали достижения в области вероятностных языков (часть байесовского направления), сочетающих такие методы, как представление знаний для символьных языков, вероятностные рассуждения в условиях неопределенности и нейронные сети для распознавания образов (видео: «Создание машин, которые учатся и думают»). Как люди», «Создание машин, которые видят, учатся и думают как люди»).
Хотя в феврале Массачусетский технологический институт запустил инициативу под названием «Поиски интеллекта», целью которой является «взломать код интеллекта», объединяя нейробиологию, когнитивную науку и информатику, все это по-прежнему остается лишь теоретическим исследованием в лаборатории. результаты, применимые к реальному миру и отрасли.
Итак, как далеко мы от искусственного общего интеллекта (AGI)? Этот опыт высокого уровня показывает противоречивые тенденции. С одной стороны, темпы инноваций головокружительны — многие разработки и истории, упомянутые в этом посте (AlphaZero, новые версии GAN, капсульные сети, RCN, взломавшие CAPTCHA, TPU второго поколения Google и т. д.) остались в прошлом. 12 месяцев, на самом деле, большинство из них были только в последние шесть месяцев. С другой стороны, многие исследовательские группы ИИ сами, активно занимаясь ОИИ, делают все возможное, чтобы подчеркнуть, что мы еще далеко, возможно, из опасения, что шумиха в СМИ вокруг ИИ развеет надежды и вызовет еще одну ядерную зиму ИИ.
Независимо от того, доберемся мы до ОИИ в ближайшее время или нет, ясно, что ИИ становится сильнее и будет становиться сильнее по мере того, как он работает на все более и более мощных компьютерах, что вызывает определенные опасения. искусственный). Одна из главных причин, по которой Илон Маск снял документальный фильм «Доверяете ли вы этому компьютеру?», заключается в том, что ИИ даже не нужно враждебно относиться к людям или даже знать, что такое человек. В своих неустанных усилиях по выполнению задачи он может причинить вред людям только потому, что люди преграждают им путь, как дорожный убийца.
Помимо физических опасностей, достижения в области искусственного интеллекта привели к ряду более насущных опасностей, от потери жизненно важных рабочих мест в индустриальную эпоху (логистика, грузоперевозки) до полного искажения нашего чувства реальности (когда фальшивые видео и аудио могут легко создать), все эти вопросы требуют от нас тщательного обдумывания.
Посмотреть исходный английский текст:
https://hacker noon.com/frontier-love-how-fever-are-major-from-artificial-general-intelligence-really-5 нет 13 нет 1 о хорошо 4 о
Для получения дополнительных галантерейных товаров, пожалуйста, обратите внимание на публичный аккаунт WeChat «AI Frontline» (ID: ai-front)