Из исследовательского блога Google
Автор: Джефф Дин
Сборник "Сердце машины"
Участие: Хуан Сяотянь, Лу Сюэ
следующийGoogle Мозг в 2016 годуПосле этого глава Google Brain Джефф Дин недавно написал обзор своей работы в 2017 году, включая фундаментальные исследования, программное обеспечение с открытым исходным кодом, наборы данных и новое оборудование для машинного обучения. Эта статья является первой частью этой инвентаризации, и позже Google выпустит вторую часть, рассказывающую о применении и творчестве машинного обучения в различных научных областях, таких как медицина и робототехника, а также о влиянии на собственную работу Google.
Команда Google Brain занимается расширением возможностей искусственного интеллекта в исследованиях и системной инженерии. В прошлом году мы подвели итоги работы за 2016 год. В 2017 году мы продолжили исследования машинного интеллекта и сотрудничали с командами Google и Alphabet, чтобы использовать наши исследования для улучшения жизни людей. В этой статье будут подведены итоги работы за 2017 год, включая фундаментальные исследования, программное обеспечение с открытым исходным кодом для машинного обучения, наборы данных и новое оборудование.
основное исследование
Исследовательская деятельность команды Google Brain направлена на улучшение понимания машинного обучения и улучшение способности решать проблемы в этой области. Вот несколько тем из исследования 2017 года.
AutoML
Целью автоматизированного машинного обучения является разработка новых методов, которые позволяют компьютерам автоматически решать новые задачи машинного обучения, без необходимости вмешательства специалистов по машинному обучению для решения каждой новой проблемы. Это фундаментальная способность, которая нам нужна, если мы хотим разработать действительно интеллектуальные системы. Мы разрабатываем новые методы проектирования архитектур нейронных сетей с использованием обучения с подкреплением и эволюционных алгоритмов, достигая самых современных результатов в задачах классификации и обнаружения ImageNet, а также показываем, как автоматически изучать новые алгоритмы оптимизации и эффективные функции активации.
Сверточные архитектуры, обнаруженные поиском нейронной архитектуры
Обнаружение объектов нейронной сети с помощью обнаружения AutoML
Понимание и генерация речи
Еще одна тема разработки новых технологий — улучшение способности наших вычислительных систем понимать и генерировать человеческую речь, в том числе разработанная в сотрудничестве с командой Google Speech.Новая сквозная система распознавания речи, что улучшило производительность предыдущей системы распознавания речи Google. 16%.
Компоненты сквозной модели распознавания речи LAS
Мы также сотрудничали с командой Machine Perception в Google, чтобы разработатьПреобразование текста в речь (Tacotron 2), что может значительно улучшить качество сгенерированной речи. Средний балл оценки (MOS) для этой модели составляет 4,53, в то время как MOS профессиональных записей в аудиокнигах — 4,58, а MOS предыдущей лучшей компьютерной речевой системы — 4,34.
Архитектура модели Tacotron 2
Новые алгоритмы и методы машинного обучения
Мы продолжаем разрабатывать новые алгоритмы и методы машинного обучения, в том числеCapsule,Слой Sparse Gated Expert Mixing Layer(редко закрытый смеси экспертов), гиперсети (использующие веса одной модели для генерации весов другой модели), новые мультимодальные модели (выполнение многозадачного обучения аудио, видео, ввода текста в той же модели),механизм внимания, символические и несимволические методы оптимизации обучения, методы обратного распространения через дискретные переменные и несколько новых улучшений алгоритма обучения с подкреплением.
Машинное обучение для компьютерных систем
Мы также заинтересованы в использовании машинного обучения для замены традиционной эвристики в компьютерных системах. Мы показываем, какОптимизация конфигураций устройств с помощью обучения с подкреплением, превосходит людей-экспертов. Мы все еще в газете»The Case for Learned Index Structuresпоказывает, что нейронная сеть изучает отношение индекса B-деревья, хеш-таблицы и фильтры Блума работают быстрее и имеют меньшие модели. Нам еще предстоит поработать над применением машинного обучения к основным компьютерным системам, как продемонстрировала Google на NIPS 2017.
Изучение модели как индекса
Конфиденциальность и безопасность
Машинное обучение и его взаимодействие с безопасностью и конфиденциальностью остаются в центре нашего исследования. Мы демонстрируем различные методы машинного обучения, обеспечивающие гарантии конфиденциальности, как подробно описано в «Лучшей статье ICLR 2017».Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data". Мы также продолжаем изучать свойства враждебных примеров, в том числе показывать враждебные примеры в реальном мире и как контролировать враждебные примеры в масштабе во время обучения, чтобы сделать модель более устойчивой к враждебным примерам.
Понимание систем машинного обучения
Мы видели отличные результаты с глубоким обучением, но важно понять, как оно работает. Еще одна лучшая статья на ICLR 2017»Understanding deep learning requires rethinking generalization, мы показываем, что современные теоретические основы машинного обучения не могут объяснить результаты методов глубокого обучения. Мы также обнаружили, что минимальная неравномерность, возникающая в результате метода оптимизации, не так тесно связана со способностью оптимизации к обобщению, как мы думали ранее. Чтобы лучше понять процесс обучения в глубоких архитектурах, мы опубликовали несколько статей, анализирующих случайные матрицы, которые являются отправной точкой для большинства методов обучения. мы вНедавнее исследование, сравнивающее методы GANВажность хорошего плана эксперимента и точности данных продемонстрирована в Производные от GAN на самом деле не улучшили производительность. Мы надеемся, что это исследование послужит примером для других исследователей в проведении надежных экспериментальных исследований.
Мы разрабатываем методы, позволяющие сделать системы машинного обучения более интерпретируемыми. В марте мы выпустили совместно с OpenAI, DeepMind, YC ResearchПлатформа интерактивного визуального журнала Distill. Статьи платформы заслужили репутацию благодаря четкому изложению концепций машинного обучения и прекрасным интерактивным инструментам визуализации. Первый год, дистиллятор Было опубликовано множество вдохновляющих статей, направленных на понимание внутренней работы различных методов машинного обучения, и мы с нетерпением ждем новых успехов в 2018 году.
Визуализация функций
Как эффективно использовать t-SNE?
Наборы данных с открытым исходным кодом для исследований в области машинного обучения
Наборы данных с открытым исходным кодом, такие как MNIST, CIFAR-10, ImageNet, SVHN и WMT, значительно улучшили машинное обучение. Наша команда и Google Research работали над новыми наборами данных с открытым исходным кодом для открытых исследований в области машинного обучения в течение прошлого года, открыв ряд больших аннотированных наборов данных, в том числе:
-
YouTube-8M:Превосходить 7 миллионов видео на YouTube с аннотациями в 4716 различных категориях
-
YouTube-Bounding Boxes:двадцать один 10 000 видео на YouTube, 5 миллионов ограничительных рамок
-
Speech Commands Dataset: повелительные фразы, произнесенные тысячами говорящих
-
AudioSet: 200 10 000 аудиоклипов YouTube продолжительностью 10 секунд, аннотированных 527 различными звуковыми событиями.
-
Atomic Visual Actions (AVA): 57000 Видеоклипы, 210 000 тегов действий
-
Open Images: 900 10 000 креативных изображений с общедоступной лицензией, 6000 аннотированных категорий
-
Открытые изображения с ограничивающими рамками: 1,2 миллиона ограничивающих рамок для 600 категорий.
Пример набора данных YouTube-Bounding Boxes: видеоклипы с частотой 1 кадр в секунду с ограничивающими рамками вокруг целевых объектов.
TensorFlow и программное обеспечение с открытым исходным кодом
Глобальное распределение пользователей TensorFlow
На протяжении всей истории команды мы создавали инструменты, помогающие нам в наших собственных исследованиях в области машинного обучения, и применяли их во многих продуктах Google. В ноябре 2015 года мы открыли исходный код TensorFlow, среды машинного обучения второго поколения, в надежде, что все сообщество машинного обучения сможет извлечь из этого пользу. В феврале 2017 года мы выпустили TensorFlow 1.0, а в ноябре —Значительно улучшенная версия v1.4:Eager execution, для интерактивного командного программирования; XLA, TensorFlow Оптимизирующий компилятор для программ, TensorFlow Lite, облегченное решение для мобильных и встраиваемых устройств. Предварительно скомпилированные двоичные файлы TensorFlow были загружены более 10 миллионов раз пользователями из более чем 180 стран, а исходный код на GitHub насчитывает более 1200 участников.
В феврале мыПроведена первая конференция разработчиков TensorFlow.,Превосходить На конференцию в Маунтин-Вью приехало 450 человек, и более 6500 человек посмотрели видео в прямом эфире. Темы конференции охватывают новые функции, советы по использованию TensorFlow и многое другое. Мы проведем нашу следующую конференцию в районе залива 30 марта 2018 года.
В ноябре TensorFlow отпраздновал свое двухлетие. TensorFlow — крупнейшая платформа машинного обучения на GitHub и один из пяти лучших репозиториев. TensorFlow используется многими крупными и малыми компаниями и организациями, а на GitHub имеется более 24 500 независимых репозиториев, связанных с TensorFlow. Многие исследовательские работы публикуются с результатами исследований, реализованных в TensorFlow, что облегчает сообществу понимание методов, используемых для воспроизведения или дальнейшего расширения работы.
TensorFlow также извлекает выгоду из соответствующей работы с открытым исходным кодом других исследовательских групп Google, включая TF-GAN (облегченная библиотека для генеративно-состязательных моделей), TensorFlow Lattice (серия оценщиков для работы с решетчатыми моделями) и TensorFlow Object Detection API. Репозиторий модели TensorFlow также продолжает расти по мере развития модели.
Помимо TensorFlow, мы такжеОпубликовано deeplearn.js, глубокое обучение для браузеров Аппаратное обеспечение с открытым исходным кодом ускоряет реализацию API (загрузка или установка не требуется). На домашней странице deeplearn.js есть много хороших примеров, таких как Teachable Machine и Performance RNN. В 2018 году мы продолжим наши усилия по прямому развертыванию моделей TensorFlow в среде deeplearn.js.
TPU
Cloud TPU обеспечивает ускорение машинного обучения до 180 терафлопс
Около пяти лет назад мы поняли, что глубокое обучение кардинально изменит необходимое нам оборудование. Вычисления глубокого обучения являются интенсивными и имеют два свойства: они в основном состоят из интенсивных операций линейной алгебры (множение матриц, векторные операции и т. д.), которые могут допускать пониженную точность. Мы поняли, что можем воспользоваться этими двумя свойствами для создания специализированного оборудования для эффективного выполнения вычислений в нейронных сетях. Мы предоставили проекты для платформы Google, в результате чего появилось первое поколение TPU: одночиповая ASIC, ускоряющая вывод моделей глубокого обучения. TPU первого поколения были развернуты в наших центрах обработки данных в течение трех лет, в поиске Google, в Google Translate, в Google Images, в AlphaGo vs. Ke Jie и Li Shishi, а также во многих других исследовательских и продуктовых приложениях. ТПУ работает. в июне мыОпубликован документ ISCA 2017, что указывает на то, что первое поколение TPU в 15-30 раз быстрее, чем современные GPU или CPU, и в 30-80 раз быстрее по производительности/энергопотреблению.
Cloud TPU Pods обеспечивают ускорение машинного обучения до 11,5 петафлопс
Обучающие эксперименты с ResNet-50 в ImageNet показывают почти идеальное ускорение при увеличении количества используемых устройств TPU.
Вывод важен, но ускорить процесс обучения важнее и труднее. Наш TPU второго поколения находится вGoogle I/O в маеПредставленная , это полная система, которая может одновременно ускорить вывод и обучение, демонстрируя конфигурацию с одним устройством и так называемую
Конфигурация суперкомпьютера для глубокого обучения с несколькими стойками модулей TPU. Мы также объявили, что второе поколение TPU будет доступно на Google Cloud Platform как Cloud TPU. Мы также запустили TensorFlow Research Cloud (TFRC), программу, которая предоставляет 1000 бесплатных облачных TPU ведущим исследователям в области машинного обучения, которые делятся своей работой. В декабре мы обучили модель ResNet-50 ImageNet с высокой точностью за 22 минуты на модуле TPU, по сравнению с днями или более при использовании традиционных методов. Мы считаем, что сокращение времени обработки исследований таким образом значительно улучшит работу команды Google по машинному обучению и всех тех, кто использует облачные технологии.
Продуктивность коллектива ТПУ.
Исходная ссылка: https://research.googleblog.com/2018/01/the-google-brain-team-ooking-back-on.html.
Эта статья составлена для сердца машины,Для перепечатки, пожалуйста, свяжитесь с этим официальным аккаунтом для авторизации .
✄------------------------------------------------
Присоединяйтесь к сердцу машины (штатный репортер/стажер): hr@jiqizhixin.com
Внесите свой вклад или запросите освещение: content@jiqizhixin.com
Реклама и деловое сотрудничество: bd@jiqizhixin.com