Автор: Джефф Дин, старший научный сотрудник Google, от имени всей команды Google Brain
в целом
Google AIчасть работы,
Мозговая команда GoogleНадеюсь продвигать ИИ вперед с помощью исследований и системной инженерии. В прошлом году мы
долякоманда в
Подведение итогов работы в 2016 году. С тех пор мы продолжали продвигаться к нашему долгосрочному исследовательскому видению, заключающемуся в том, чтобы сделать машины интеллектуальными, и сотрудничаем с
Googleи
AlphabetСотрудничайте между несколькими командами, чтобы использовать результаты наших исследований для улучшения жизни людей. Первая часть будет посвящена обзору нашей работы в 2017 году, включая некоторые фундаментальные исследования и
машинное обучениеОбновления программного обеспечения с открытым исходным кодом, наборов данных и нового оборудования. В нашем втором сообщении в блоге мы рассмотрим исследовательские группы в конкретных областях, где машинное обучение может иметь большое значение (например, здравоохранение, робототехника и некоторые фундаментальные науки), и мы расскажем о нашей работе над творчеством, справедливость, включение секс-бизнеса и немного больше подробностей о нашей культуре.
основное исследованиеВ центре внимания нашей команды находятся исследования в области машинного обучения, направленные на углубление нашего понимания области и улучшение нашей способности решать новые проблемы. Ниже приведены некоторые темы наших исследований за прошлый год.
AutoMLЦелью автоматизированного машинного обучения является разработка новых методов, позволяющих компьютерам автоматически решать новые задачи машинного обучения, без необходимости вмешательства специалистов по машинному обучению в решение каждой новой проблемы. Это должно быть важной возможностью, которая нам нужна, если мы хотим создавать действительно интеллектуальные системы. Мы разработали с использованием обучения с подкреплением и эволюционных алгоритмов
Новый способ проектирования архитектуры нейронных сетей, и этой работой в
Самые современные результаты в классификации и обнаружении ImageNet, также описывает, как автоматически изучать новые
оптимизацияи
Эффективная функция активации. мы и
Cloud AIКоманда активно работает вместе, чтобы донести преимущества этой технологии до большего числа клиентов Google, а также продолжает проводить исследования во многих направлениях.
Понимание и генерация речиЕще одной темой является разработка новых технологий для улучшения способности наших вычислительных систем понимать и генерировать человеческую речь, что включает в себя работу с командой распознавания речи в Google,
Разработать множество улучшений для сквозного подхода к распознаванию речи., эти улучшения снизили относительный уровень ошибок в словах на 16 % по сравнению с производственной системой распознавания речи Google. Интересным аспектом этой работы является то, что она требует объединения нескольких различных направлений исследований (вы можете
Документы с похожими идеями, найденные на Arxiv:
1,
2,
3,
4,
5,
6,
7,
8,
9).
Мы также работаем с Google
машинное восприятиеКоллеги-исследователи группы совместно разработали новый способ преобразования текста в речь (Tacotron 2), который значительно улучшил качество воспроизводимой речи. Эта модель имеет средний балл мнения (MOS) 4,53 по сравнению с 4,58 для профессионально записанного звука, который вы можете услышать в аудиокниге, и 4,34 для лучшей компьютерной речевой системы до нас. ты сможешь
послушайте сами.
Новые алгоритмы и подходы машинного обученияМы продолжаем разрабатывать новые алгоритмы и подходы машинного обучения, работа в этом направлении включает
капсула(Непротиворечивость можно явно искать в функциях активации и, таким образом, ее можно использовать для оценки множества различных гипотез шума при выполнении задач зрения),
Слой Sparse Gated Expert Mixing Layer(Может создавать очень большие модели, но при этом иметь высокую вычислительную эффективность),
супер сеть(используйте веса одной модели для создания весов для других моделей),
Новая мультимодальная модель(выполнять многозадачное обучение аудио, визуальному и текстовому вводу в одной и той же модели),
механизм, основанный на внимании(может заменить сверточные и рекурсивные модели),
символическийи
несимволическийизучить методы оптимизации,
Обратное распространение через дискретные переменныетехнологии, а также ряд новых
укреплятьучитьсяУлучшения алгоритма.
Машинное обучение для компьютерных системНас также восхищает использование машинного обучения для замены традиционных эвристик в компьютерных системах. Мы рассмотрели, как
Используйте обучение с подкреплением, чтобы принимать лучшие решения о размещении, чем люди-эксперты, сопоставляя вычислительный граф с набором вычислительных устройств.. С помощью других коллег из команды Google Research мы
The Case for Learned Index Structuresдоказал, что нейронные сети могут сравнивать
Традиционные структуры данных, такие как B-деревья, хэш-таблицы и фильтры Блума, быстрее и намного меньше. как в
Machine Learning for Systems and Systems for Machine LearningКак обсуждалось на этом семинаре NIPS, мы считаем, что только начинаем применять машинное обучение в компьютерных системах.
Конфиденциальность и безопасностьМашинное обучение и его взаимодействие с безопасностью и конфиденциальностью останутся в центре наших исследований. мы находимся в
бумагаПредставленный в том, что методы машинного обучения могут применяться таким образом, чтобы обеспечить различные гарантии конфиденциальности, документ находится в
ICLR 2017получил одну из лучших бумажных наград. мы продолжим исследования
состязательный примерсвойства, в том числе
Демонстрация состязательных примеров в физическом миреи
Как масштабно использовать состязательные примеры во время обучения, тем самым повышая надежность модели для работы с состязательными примерами.
Понимание систем машинного обученияХотя мы
глубокое обучениеХотя были достигнуты впечатляющие результаты, по-прежнему очень важно понимать, как это работает и каковы его ограничения. полученный в другом
ICLR 2017
Награда за лучшую бумагуВ статье мы демонстрируем, что текущая теоретическая основа машинного обучения не может объяснить замечательные результаты, полученные с помощью подхода глубокого обучения. Мы также доказали
«Гладкость», обнаруженная методом оптимизации, не так тесно связана с хорошим обобщением, как предполагалось изначально.. Чтобы лучше понять механизм обучения в глубоких архитектурах, мы публикуем серию анализов.
случайныйматрица(они являются отправной точкой для большинства стилей обучения). Еще один важный способ понять глубокое обучение — лучше измерить его эффективность. существует
Недавнее исследованиеВ мы представляем важность хорошего экспериментального дизайна и статистической строгости во многих GAN.
После сравнения мы обнаружили, что многие из востребованных усовершенствований генеративной модели на самом деле не улучшали производительность. Мы надеемся, что это исследование может стать примером для других исследователей, работающих над повышением надежности экспериментальных исследований.
мы разрабатываем
Способы лучшего объяснения систем машинного обучения. В марте прошлого года мы
OpenAI,
DeepMindи
YC Researchсовместные исследовательские институты
Начать дистилляцию, новый открытый научный онлайн-журнал, посвященный продвижению человеческого понимания машинного обучения. Он получил высокую оценку за четкое объяснение концепций машинного обучения и отличные интерактивные инструменты визуализации, представленные в статье. В первый год публикации,
Distillопубликовано
многиеПредназначен для понимания внутренней работы различных методов машинного обучения.
вдохновляющий статья, мы с нетерпением ждем возможности опубликовать больше отличных статей в 2018 году.
Открытые наборы данных для исследований в области машинного обучения MNIST,
CIFAR-10,
ImageNet,
SVHNи
WMTи другие открытые наборы данных значительно продвинули область машинного обучения. В целом, наша команда и команда Google Research за последний год активно участвовали в исследованиях машинного обучения с открытым исходным кодом, предлагая интересные новые наборы данных для исследований в области машинного обучения с открытым исходным кодом, в том числе:
TensorFlow и программное обеспечение с открытым исходным кодом
 |
| Глобальная карта распределения пользователей TensorFlow (источник) |
Оглядываясь назад на историю нашей команды, мы создали полезные инструменты, которые помогают нам проводить исследования в области машинного обучения и развертывать системы машинного обучения во многих продуктах Google. В ноябре 2015 года мы запустили нашу платформу машинного обучения второго поколения.
TensorFlowОткрытый исходный код, мы надеемся, что более широкое сообщество машинного обучения сможет извлечь выгоду из наших инвестиций в программные инструменты машинного обучения. В феврале прошлого года мы выпустили
TensorFlow 1.0;11
Луна,
Мы выпустили v1.4, который содержит следующие важные улучшения:
мгновенное исполнение(возможно интерактивное императивное программирование),
XLA(Подходит для
оптимизирующий компилятор для программ TensorFlow) и
TensorFlow Lite(легкое решение для мобильных и встроенных устройств). В настоящее время,
Предварительно скомпилированные двоичные файлы TensorFlowБолее 1000 загрузок в 180 странах
десять тысяч раз,
Исходный код на GitHubВ настоящее время насчитывается более 1200 участников.
Также в феврале мы провели наш первый
Саммит разработчиков TensorFlow, более 450 человек посетили мероприятие в Маунтин-Вью, и более 6500 человек по всему миру наблюдали за мероприятием в прямом эфире, в том числе 35
Организовано более 85 местных просмотров в 10 странах. все
Лекции записываются на видео, с темами, посвященными новым функциям, советами по использованию TensorFlow и подробным введением в низкоуровневые абстракции TensorFlow. 30 марта 2018 года мы проведем наш второй саммит разработчиков TensorFlow в районе залива.
Войти Сейчас, сохраняйте даты событий и следите за последними новостями.
В ноябре TensorFlow отпраздновал свою вторую годовщину в качестве проекта с открытым исходным кодом. Для меня большая честь видеть такое активное сообщество разработчиков и пользователей TensorFlow. TensorFlow теперь является платформой машинного обучения №1 на GitHub, и
Одна из пяти лучших кодовых базПользователи включают в себя
Многочисленные компании и организации, разных размеров.
Более 24 500 связанных с TensorFlow репозиториев на GitHub.. Многие исследовательские работы теперь публикуются с реализацией TensorFlow с открытым исходным кодом, чтобы сопровождать презентацию исследования, облегчая всему сообществу понимание точной используемой методологии, а также воспроизведение или расширение работы.
TensorFlow также извлек выгоду из соответствующей работы с открытым исходным кодом других исследовательских групп в Google, в том числе
TF-GAN(облегченная библиотека генеративных состязательных моделей в TensorFlow),
TensorFlow Lattice(набор оценщиков для работы с решетчатыми моделями) и
TensorFlow Object Detection API. ТензорФлоу
Кодовая база моделиБудет продолжать расти, добавляя все больше и больше наборов моделей.
В дополнение к TensorFlow мы также выпустили
deeplearn.js, который является
Реализация API глубокого обучения с аппаратным ускорением в веб-версии с открытым исходным кодом(Нет необходимости загружать или устанавливать какие-либо инструменты, только браузер). На домашней странице deeplearn.js представлен ряд примеров, в том числе
Teachable Machine(модель компьютерного зрения, которую можно обучить с помощью собственной веб-камеры) и
Performance RNN, демонстрация фортепианной композиции и исполнения на основе нейронной сети в реальном времени. В 2018 году мы продолжим наши усилия по развертыванию моделей TensorFlow непосредственно в среде deeplearn.js.
TPU
 |
|
Cloud TPUМожет обеспечить ускорение машинного обучения до 180 терафлопс |
Около пяти лет назад мы поняли, что глубокое обучение радикально изменит необходимое нам оборудование. Глубокое обучение очень затратно в вычислительном отношении, но у него есть два специфических свойства: оно в основном состоит из интенсивных операций линейной алгебры (умножение матриц, векторные операции и т. д.) и очень терпимо к снижению точности. Мы поняли, что можем использовать эти два свойства для создания специализированного оборудования, которое могло бы очень эффективно выполнять вычисления нейронной сети. Мы предоставили дизайнерские идеи команде платформы Google, которая спроектировала и произвела наш блок тензорной обработки (TPU) первого поколения: одночиповую ASIC, предназначенную для ускорения логического вывода в моделях глубокого обучения (логический вывод с использованием уже обученной нейронной сети, отличающийся от обучение). TPU первого поколения были развернуты в наших центрах обработки данных в течение трех лет и использовались в
поиск ГуглСпросите,
переводчик Google,
Google Фотопонимание образа в
AlphaGoи
Ли Седоли
Кэ ЦзеОн также включает в себя множество других исследований и приложений для различных моделей глубокого обучения, таких как шахматы. В июне мы
ISCA 2017опубликовано
бумага, в этой статье описывается, как TPU первого поколения превосходят современные GPU.
или эквиваленты ЦП в 15–30 раз быстрее и в 30–80 раз лучше по производительности/энергопотреблению.
 |
|
Cloud TPU PodМожет обеспечить ускорение машинного обучения до 115 терафлопс |
Вывод важен, но ускорение процесса обучения — более важный вопрос и более сложный. Чем быстрее исследователи смогут опробовать новые идеи, тем больше прорывов мы сможем совершить. Мы объявили на Google I/O в мае
ТПУ второго поколенияпредставляет собой полную систему (специальный чип ASIC, плата и межсоединение), предназначенную для ускорения обучения и вывода, мы также продемонстрировали конфигурацию с одной машиной, а также конфигурацию суперкомпьютера для глубокого обучения с несколькими стойками под названием TPU Pod. Мы объявляем, что эти устройства второго поколения будут доступны в
Google Cloud Platformвыше
Cloud TPUФормат для всех. Мы также объявили
TensorFlow Research Cloud (TFRC), программа, предназначенная для поддержки ведущих исследователей машинного обучения, стремящихся поделиться своими исследованиями со всем миром, позволяя им использовать их бесплатно.
Кластер из 1000 облачных TPU. В декабре мы
Продемонстрировать работу, демонстрируя, что мы можем обучить модель ResNet-50 ImageNet с высокой точностью за 22 минуты на модуле TPU, в то время как на типичной рабочей станции для выполнения той же работы потребуется несколько дней или больше. Мы считаем, что сокращение исследовательского цикла таким образом значительно улучшит работу команды Google по машинному обучению и использование
Производительность всех организаций с Cloud TPU. Если вас интересует Cloud TPU, TPU Pod или TensorFlow Research Cloud, вы можете найти его по адресу
g.co/tpusignupЗарегистрируйтесь, чтобы узнать подробности. В 2018 году больше инженеров и исследователей получат доступ к TPU, и мы очень рады!
Спасибо за чтение!
(В части 2 мы обсудим исследования команды в областях, где машинное обучение может иметь значение, таких как здравоохранение, робототехника и различные области науки, а также о нашей работе над творчеством, равенством и инклюзивностью.)