Краткий комментарий: пять статей, посвященных глубокому обучению, которые наиболее достойны углубленного прочтения в 2017 году. Если вы их не читали, можете действовать.
1. Самые крутые визуальные эффекты: использование CycleGAN для преобразования между наборами непарных изображений
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networksarxiv.orgЦель: научиться переводить между непарными наборами изображений.
Авторы начинают с двух наборов изображений из разных доменов, таких как лошади и зебры, и изучают две сети преобразования: одну, которая превращает лошадей в зебр, и другую, которая делает обратное. Каждое преобразование выполняет перенос стиля, но не стиля отдельного изображения, а агрегированного стиля набора изображений, найденных в сети.
Сеть трансформации обучается как пара генеративно-состязательных сетей (Generative Adversarial Nсеть, или сокращенно GAN,неконтролируемое обучениеОдин из способов, имея дваНейронные сетивзаимныйиграобучения), каждая сеть пытается обмануть дискриминатор, заставив его поверить, что «преобразованное» изображение реально. Вводится дополнительная «потеря согласованности цикла», чтобы изображение оставалось неизменным после прохождения двух сетей преобразования (т. Е. Прямого и обратного).
Визуальные эффекты бумаги потрясающие и настоятельно рекомендуется пойтиGitHubПосмотрите другие примеры. Меня это особенно интересует, потому что многиепредыдущий методРазница в том, что он учится преобразовывать наборы непарных изображений, открывая двери для приложений, в которых совпадающие пары изображений могут не существовать. Кроме того, код очень прост в использовании и экспериментировании, демонстрируя надежность метода и качество реализации.
2. Самый элегантный: РАССТОЯНИЕ ВАССЕРШТЕЙНА, лучшее обучение нейронной сети
Wasserstein GANarxiv.orgЦель: более стабильно обучать GAN с лучшей целевой функцией.
В этой статье предлагается обучать сети генеративного сопротивления с немного другой целевой функцией. Недавно предложенная целевая функция намного более стабильна, чем стандартное обучение GAN, поскольку она позволяет избежать исчезающих градиентов во время обучения:
Используя цель этой модификации, авторы также избегают проблемы, называемой коллапсом режима, когда стандартные GAN производят выборки только из подмножества возможных выходных данных. Например, если GAN обучается генерировать рукописные цифры4
и6
, то ГАН может производить только4
, и не может избежать этого локального минимума во время обучения. Этой проблемы можно избежать путем устранения градиентов в тренировочной цели, так называемой GAN Вассерштейна.
Газета очень независима: авторы
(1)
зародить простую идею
(2)
Математически показать, почему текущее состояние искусства должно быть улучшено
(3)
Есть впечатляющий результат, демонстрирующий его эффективность.
Кроме того, модификации, предложенные авторами, легко внедряются практически во все популярные фреймворки глубокого обучения, что делает применение предложенных изменений практичным.
3. Самое полезное: неконтролируемое обучение моделированию с помощью GANS для уточнения данных.
Learning from Simulated and Unsupervised Images through Adversarial Trainingarxiv.orgЦель: использовать изображения реального мира, чтобы сделать смоделированные обучающие данные более полезными для реальных приложений.
Сбор реальных данных является сложным и требует много времени. Поэтому многие исследователи часто используют инструменты моделирования, которые способны генерировать практически неограниченное количество размеченных обучающих данных. Однако большинство смоделированных данных недостаточно реалистичны для обучения систем глубокого обучения, работающих на реальных данных.
Чтобы преодолеть это ограничение, в статье используются генеративно-состязательные сети (GAN) для улучшения помеченных смоделированных изображений с использованием неразмеченных изображений реального мира. Они обучили «уточняющую сеть», чтобы обмануть дискриминационный классификатор, который был обучен различать усовершенствованные смоделированные изображения и реальные изображения. Поскольку уточняющая сеть и классификатор обучаются как единое целое, уточненные смоделированные изображения начинают выглядеть очень реалистично:
Когда вышла эта статья, я сразу же был заинтригован, потому что в ней был представлен первый практический подход к преодолению разрыва между смоделированными и реальными данными. Ключевым моментом здесь является то, что алгоритм не контролируется, а это означает, что пользователям не нужно вручную аннотировать реальные данные. Для приложений глубокого обучения данные имеют решающее значение, но у большинства академических лабораторий, таких как моя, нет ресурсов для создания огромных объемов данных, необходимых для быстрого охвата новых областей исследований: проблема, которую вы пытаетесь решить, если общедоступные наборы данных не существуют данные, то вы застряли в сборе и маркировке соответствующих данных. Общий посыл этой статьи заключается в том, что пока у вас есть симулятор проблемы, которую вы пытаетесь решить, вы сможете генерировать необходимые обучающие данные.
4. Самое впечатляющее: Google Go AI с нуля
Mastering the game of Go without human knowledgewww.nature.comЦель: научиться го без участия человека
Список лучших в 2017 году был бы неполным без впечатляющих достижений Google DeepMind за последние несколько лет, особенно его AlphaGo.
В недавней статье AlphaGo Zero избегается интеграция человеческих знаний или игрового процесса: она обучается только за счет «самостоятельной игры», которая достигается с помощью модифицированной процедуры обучения с подкреплением, в которой политика развивается по мере моделирования игры вперед. используемый для поиска, был улучшен во время игры, что ускоряет обучение. AlphaGo Zero даже превзошла по производительности AlphaGo Lee (победив Ли Седоля в 2016 году) всего после 40 часов игры.
Хотя мой интерес к этой статье в первую очередь связан с инженерным уровнем, меня также воодушевляет гибридный подход к классическому и глубокому обучению, который использует AlphaGo, в которомПоиск дерева Монте-КарлоУвеличение , делает систему более эффективной, чем монолитные нейронные сети. Меня как человека, изучающего робототехнику, вдохновляет этот комбинаторный подход: использование классических алгоритмов в качестве основы для принятия решений и использование машинного обучения для повышения производительности или преодоления вычислительных ограничений. этот документ и Документы AlphaGo 2016 года также великолепны, все они хорошо написаны и полны интересных технических деталей и идей. Если ни по какой другой причине, эти документы стоит прочитать подробно.
5. Наводящие на размышления: изображения глубины
Deep Image Priordmitryulyanov.github.ioЦель: понять предыдущие эксперименты, которые дала нам наша модель нейронной сети.
Вместо того, чтобы тренировать глубокую нейронную сеть с набором данных, что в наши дни довольно стандартно, авторы этой статьи хотят изучить, как можно использовать сами нейронные сети, чтобы помочь нам решить некоторые популярные задачи обработки изображений. Они начинают с необученной нейронной сети, которая, по словам автора, «ищет не в пространстве изображений, а в пространстве параметров нейронной сети» и избегает нейросети на больших наборах данных.
Меня сразу же очаровал этот результат: что означает структура нашей нейронной сети для наших данных? Как мы можем лучше понять это? Как мы можем использовать этот подход для построения лучших сетевых моделей? Конечно, как группа, мы неявно понимаем некоторые ограничения, которые наша сетевая структура накладывает на наши данные: если все изображения «зебры» перевернуты, подход CycleGAN вряд ли будет работать эффективно. Тем не менее, он поднимает некоторые глубокие вопросы о нашей модели нейронной сети и предлагает некоторые интересные направления на предстоящий год.
оригинал:My Favorite Deep Learning Papers of 2017
Дальнейшее чтение:
Helperhaps: Cheat Sheetszhuanlan.zhihu.com для «Машинное обучение» и «Глубокое обучение» Helperhaps: Наконец, SciPy 1.0 выпущен zhuanlan.zhihu.comАврора Дейли,Аврора Разработчикего СМИ.
Читайте три технические статьи на английском языке каждый день.