Почему Google AutoML становится «черной технологией искусственного интеллекта следующего поколения»?

Прежде чем мы поговорим об этом, нам нужно прояснить общие этапы машинного обучения.

На самом деле, будь то распознавание изображений, распознавание речи или другие проекты машинного обучения, структурные различия очень малы, а хорошая модель требует большого опыта для настройки. Процесс внедрения состоит из следующих этапов:

• предварительная обработка данных

• Выбор функций

• Выбор алгоритма модели

• настройка параметров

• Повторная оптимизация модели после запуска

• оценка эффекта

В контексте возрождения волны ИИ многие компании стремятся попробовать ИИ, но поскольку в мире не хватает соответствующих талантов, компании могут не иметь возможности нанимать людей, если захотят, или им придется нанимать много денег, таких как ведущие ученые в области искусственного интеллекта в Соединенных Штатах.Годовая зарплата достигла уровня квотербека Национальной футбольной лиги (НФЛ) (в среднем 2,7 миллиона долларов в год), а некоторые даже превышают среднюю зарплату. звезд НБА (данные за 2017 год: в среднем 8 миллионов долларов). Таким образом, «автоматизация машинного обучения» очень привлекательна для компаний, заинтересованных в экспериментах с искусственным интеллектом или его внедрении.

Технологии глубокого обучения часто сложны и трудны для разработки с нуля.Некоторые компании предоставляют платформы автоматизированного глубокого обучения (ADL), которые могут помочь разработчикам легко использовать глубокое обучение, такие как Microsoft CustomVision.AI, Google Cloud AutoML, отечественные компании, такие как Компании, такие как Fourth Paradigm и Zhiura Technology также запустили платформы AutoML. Будучи первой в тематической статье об AutoML на переднем крае искусственного интеллекта, эта статья будет посвящена Google Cloud AutoML.

Концепция AutoML возникла из новой концепции, предложенной академическим сообществом в 2012 — Programming by Optimization (PbO), что буквально означает разработку с помощью оптимизированной программы. Инновационная концепция по существу заключается в решении проблемы ручной настройки параметров во время программирования.

В январе этого года,Google выпускает облачный AutoML. Рано утром 18 января по пекинскому времени Ли Фейфэй опубликовал три твита подряд, выпустив последний продукт Google для искусственного интеллекта, Cloud AutoML Vision: «Не обладая знаниями в области машинного обучения, каждый может использовать этот продукт искусственного интеллекта для настройки моделей машинного обучения. "

Ссылка: https://cloud.google.com/automl

AutoML Vision — это первый сервис из более крупного проекта Cloud AutoML, который предоставляет услуги автоматизированной разработки для пользовательских систем распознавания изображений. Согласно Google,Даже новичок без профессиональных знаний в области машинного обучения может легко создать индивидуальную модель распознавания изображений с помощью этого сервиса, если он понимает основные концепции модели.Просто загрузите собственные данные этикетки в систему, чтобы получить обученную модель машинного обучения.Весь процесс, от импорта данных до маркировки и обучения модели, можно выполнить с помощью интерфейса перетаскивания.

В дополнение к распознаванию изображений Google планирует в будущем расширить услуги AutoML на такие области, как перевод, видео и обработка естественного языка.

Служба Google Cloud AutoML использует три основные технологии, а именно:Технология поиска нейронной архитектуры, Learning2learn и трансферное обучение.

Благодаря этим технологиям настройка параметров и структур передается машине. Концепция работы заключается в том, что машина использует технологию поиска нейронной архитектуры для непрерывного тестирования, чтобы найти хорошее сочетание параметров + структура нейронной сети.Разработчики ИИ считают эту комбинацию хорошей.После одобрения машина запомнит ее и сделает это в следующий раз , Более быстрое и точное, это обучение2обучение, или эта комбинация может быть перенесена в другие сценарии приложений, что является трансферным обучением.

Нейронная архитектура AutoML

Как правило, модели машинного обучения тщательно разрабатываются группами инженеров и ученых. Процесс ручного проектирования модели машинного обучения сложен, поскольку пространство поиска всех возможных моделей может быть комбинаторно большим, а типичная 10-уровневая сеть обычно имеет 10^10 сетей-кандидатов. По этой причине процесс проектирования сети часто требует значительного времени и экспериментов со стороны людей, обладающих значительным опытом в области машинного обучения.

Архитектура GoogleNet. Дизайн этой сети потребовал многих лет тщательных экспериментов и усовершенствований первоначальной версии сверточной архитектуры.

Чтобы сделать процесс проектирования моделей машинного обучения более доступным, Google изучает способы автоматизации проектирования моделей машинного обучения. Среди множества изученных ими алгоритмов большие надежды показали эволюционные алгоритмы и алгоритмы обучения с подкреплением.

В подходе Google, известном внутри компании как Auto ML, нейронная сеть контроллера может предложить архитектуру «суб» модели, которую затем можно обучить и оценить на предмет качества для конкретных задач. Эта обратная связь затем используется для информирования контролера о том, как улучшить его следующий раунд предложений. После тысяч итераций создаются новые архитектуры. В конечном счете, контроллер учится назначать высокие вероятности пространственным областям для достижения более высокой точности в наборе данных для проверки и низкие вероятности для областей с низкими оценками при построении пространственных областей. Вот как выглядит процесс:

Этот подход был применен Google к двум тщательно проверенным наборам данных в области глубокого обучения: распознавание изображений с использованием CIFAR-10 и языковое моделирование с использованием Penn Treebank. В обоих наборах данных этот метод может создавать модели, сопоставимые с современными моделями, разработанными экспертами по машинному обучению.

Итак, какую нейронную сеть он создает? В качестве примера: рекуррентная архитектура, обученная предсказывать следующее слово в наборе данных Penn Treebank. Здесь слева нейронная сеть, разработанная экспертом. Справа — повторяющаяся схема, созданная описанным выше методом:

Архитектура, выбранная машиной, имеет некоторые общие черты с человеческим дизайном, такие как использование сложения для объединения входных данных и предыдущих скрытых состояний. Однако есть некоторые заслуживающие внимания новые элементы: например, архитектура, выбранная машиной, содержит мультипликативные комбинации (крайний левый синий узел на диаграмме справа, обозначенный как «elem_mult»). Комбинации такого типа не характерны для рекуррентных сетей, вероятно, потому, что исследователи не увидели явного преимущества. Интересно, что простейшая форма этого подхода была недавно предложена разработчиками-людьми, которые также утверждали, что эта мультипликативная комбинация может фактически облегчить проблему исчезающего/взрывающегося градиента, предполагая, что выбранные машиной архитектуры могут открыть полезный новый тип архитектуры нейронной сети.

Этот подход также может продемонстрировать, почему определенные типы нейронных сетей работают так хорошо. Архитектура справа здесь имеет много каналов, поэтому градиенты могут идти в обратном направлении, что может помочь объяснить, почему LSTM RNN работают лучше, чем стандартные RNN.

передача обучения

Передача обучения, как следует из названия, заключается в переносе изученных и обученных параметров модели в новую модель, чтобы помочь обучению новой модели.

Учитывая, что большинство данных или задач связаны между собой, посредством обучения с передачей параметры модели, которые были изучены (которые также можно понимать как знания, полученные моделью), могут быть каким-то образом переданы новой модели для ускорения и оптимизации процесса. Эффективность обучения не требует обучения с нуля, как в большинстве сетей (начиная с нуля, tabula rasa).

Облачный AutoML черезТрансферное обучениеПеренесите обученную модель в процесс обучения новой модели. Таким образом, модель машинного обучения можно обучать с меньшим объемом данных. Это особенно важно в медицинской сфере, где при моделировании редких заболеваний и некоторых особых случаев зачастую недостаточно обучающих данных.

Learning2learn

Cloud AutoML автоматически выбирает подходящие модели с помощью функции learning2learn с технологиями настройки гиперпараметров.Автоматическая настройка параметров.

Джефф Дин, глава отдела искусственного интеллекта Google, в восторге от AutoML, потому что он помогает Google «автоматически решать проблемы», но использование AutoML также вызывает уникальные вопросы.

«Поскольку мы используем больше систем, чем традиционное программное обеспечение с ручным кодированием, я думаю, что это ставит перед нами множество проблем, с которыми мы сталкиваемся», — сказал Дин.Если вы учитесь на данных, а данные приняли об этом предвзятые решения, изученная модель машинного обучения сама увековечивает эти предубеждения.Поэтому мы много работаем вместе с другими участниками сообщества машинного обучения над тем, как обучать модели машинного обучения в непредвзятой форме. "

Еще одна задача:Как правильно проектировать критически важные для безопасности системы с помощью AutoML, создавая ИИ для таких отраслей, как здравоохранение. Для ручного кодирования этих систем были созданы десятилетия лучших практик компьютерных наук, и машины, производящие машины, должны выполнять те же шаги.

Дин сказал: «Одно дело обнаружить ошибку при классификации пород собак, и совсем другое — допустить ошибку в критически важной для безопасности системе. «Я думаю, что это очень значимое и важное направление для нас, особенно когда мы начинаем использовать машинное обучение в более важных для безопасности системах, таких как принятие решений в здравоохранении или беспилотных автомобилях», — сказал он.

В дополнение к некоторым вопросам, поднятым собственными боссами Google, другие эксперты также высказали свое мнение об AutoML.

Технический эксперт, не пожелавший назвать свое имя, сообщил AI Frontline, что первый сервис, запущенный в настоящее время Cloud AutoML, предназначен для Vision, а набор данных ImageNet достаточно хорош и достаточно велик, поэтому в большинстве случаев он действительно может передавать хорошие результаты, и Теперь видение относится к относительно легкой области, если оно относится к области НЛП и CTR, то оно намного сложнее. У всех сейчас есть менталитет «то, что делает Google, должно быть хорошим», и я должен сказать, что PR-возможности Google действительно мощны.

Конечно, реализация AutoML с помощью трансферного обучения действительно дала практикам большой простор для воображения.Он может разрушить хранилища данных и решить больше проблем с меньшими затратами, например, использовать данные электронной коммерции для выработки рекомендаций в традиционных отраслях или У новой компании нет данных, но она может работать с данными другой компании или отрасли.

Google представил, что AutoML Vision предоставляет простой графический пользовательский интерфейс, и вы можете создать новую модель, просто импортируя данные и перетаскивая компоненты.Больше медиа-отчетов прямо подчеркивают, что «не нужно писать строку кода», так что вы действительно можете это сделать. не нужно писать код? Эксперт сообщил передовой ИИ по секрету: "Легко обойтись без написания кода, но трудно добиться хороших результатов без написания кода. "

Для всей области ИИ AutoML должен быть в центре внимания развития в следующую эпоху, и, скорее всего, он станет «большим убийцей» машинного обучения. Однако для большинства компаний, даже для таких крупных, как Google, AutoML все еще остается новой областью.

Однако на состоявшейся не так давно конференции разработчиков Google I/O, за исключением того, что Джефф Дин изредка упоминал AutoML, не было специальной речи для описания прогресса AutoML, что заставило людей ощутить тайну этой новой технологии и огромный потенциал.

Помимо Google, в игру также вступили крупные международные компании, такие как Microsoft, о которых будет сказано в следующих статьях этой серии. Конечно, читатели не должны думать, что такими услугами, как AutoML, могут пользоваться только иностранные пользователи.В Китае ряд компаний запустили свои собственные платформы AutoML.Удивительно, но довольно много из них являются стартапами.В этой серии мы также представить несколько внутренних платформ AutoML, пожалуйста, подождите и посмотрите!

Ссылка на ссылку

http://developers.googleblog.cn/2017/11/automl.html

https://zhuanlan.zhihu.com/p/27792859

https://www.datasciencecentral.com/profiles/blogs/automated-deep-learning-so-simple-anyone-can-do-it

http://www.mittrchina.com/news/1582

https://www.zhihu.com/question/41979241/answer/123545914

https://www.jianshu.com/p/1430dcc71d15