Узнайте о том, что GAN могут сделать прямо сейчас

глубокое обучение GAN

Оригинальная ссылка:мастерство машинного обучения.com/impressive-…

Введение

Если мы скажем, что глубокое обучение является самой популярной и наиболее широко используемой областью, это GAN-Generative Adversarial Network, что переводится как генеративно-состязательная сеть, Уже из одного названия вы подумаете, что это генеративная модель, которая кажется использоваться только для создания изображений.

На самом деле, когда он впервые появился, он действительно использовался для генерации картинок, но это была не просто генеративная модель, это была фактически игра между двумя сетями, одна была генератором, то есть для генерации фейковых картинок, а другая Было различить. Он используется для оценки подлинности входного изображения, и тогда цель, естественно, состоит в том, чтобы сделать дискриминатор неспособным судить, является ли изображение генератора истинным или ложным.

Конечно, прошло 5 лет с тех пор, как он был впервые предложен в 2014 году. Его применение не ограничивается генерацией изображений, все больше и больше исследователей применяют его к различным аспектам, включая преобразование изображений, восстановление изображений, супер-разрешение изображений, передачу стиля, генерация текста, генерация видео и т. д. В этой статье, представленной сегодня, представлены некоторые интересные приложения, которые GAN могут реализовать в настоящее время!

В статье эти приложения разделены на следующие области, а затем представлены документы, реализующие приложение, в основном в период с 2016 по 2018 год.

  • сгенерировать изображение
  • генерация лица
  • генерация фото
  • Создание мультяшных персонажей
  • преобразование изображений
  • преобразование текста в изображение
  • Семантическое преобразование изображения в фотографию
  • Генерация изображения лицевой стороны
  • Создание новых человеческих поз
  • Преобразование фото в выражение
  • редактирование фотографий
  • микс изображений
  • супер разрешение
  • восстановление изображения
  • Преобразование одежды
  • видео предсказание
  • Генерация 3D-объектов

1. Создайте изображение

Это первая статья, предлагающая GAN в 2014 году».Generative Adversarial Networks”, как показано на рисунке ниже, включая создание набора данных рукописных цифр MNIST, изображений небольших объектов CIFAR10 и изображений наборов данных лиц.

Затем газета 2015 г.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, также называетсяDCGANДостигнуто стабильное использование CNN для обучения GAN, и результаты показаны на следующем рисунке:

2. Генерация лица

Приложение Face изначально является одной из самых популярных, глубоких и зрелых технологий в области компьютерного зрения, и GAN, естественно, участвуют в этом приложении.

Документы 2017 года»Progressive Growing of GANs for Improved Quality, Stability, and Variation", именуемыйProGAN, который может создавать очень реалистичные лица, как показано на следующем рисунке.

В документе также показаны другие его применения, генерирующие экспериментальные результаты на других объектах:

Кроме того, в отчете за 2018 г.The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation«Описывает быстрое развитие GAN с 2014 по 2017 год и берет в качестве примера генерацию лиц. Далее показаны изменения результатов генерации лиц в последние годы, которые действительно становятся все более и более реалистичными.

3. Генерация фотографий

Газета 2018 года».Large Scale GAN Training for High Fidelity Natural Image Synthesis", также известен какBigGAN, добился очень хороших результатов в создании реальных фотографий, как показано на рисунке ниже, когда он был впервые опубликован, он также привлек большое внимание—Академический | Самый мощный генератор изображений GAN в истории, оценка Inception удвоилась.

4. Создавайте мультяшных персонажей

2017 Документы »Towards the Automatic Anime Characters Creation with Generative Adversarial Networks” — это приложение GAN для создания лиц японских аниме-персонажей, как показано на следующем рисунке.

Кроме того, некоторые люди используют GAN для создания изображений покемонов, как показано на рисунке ниже, а адрес проекта:

Однако некоторые люди недавно использовали GAN для создания покемонов с другими атрибутами:

Используйте CycleGAN для создания покемонов с разными атрибутами.

5. Преобразование изображений

Преобразование изображений — это применение GAN ко многим задачам преобразования, самая известная статья здесь — статья 2016 года «Image-to-Image Translation with Conditional Adversarial Networks", это,pix2pixGAN, который может конвертировать эти изображения:

  • Преобразование смысловых картинок в фотографии Просмотра улиц и зданий
  • Спутниковые фотографии превратились в Google Maps
  • Фотографии меняются с дневного на ночной вид
  • Раскрасить черно-белые фотографии
  • Преобразование эскиза в цветное изображение

Ниже приведен результат отображения статьи.Первая строка - преобразование семантического изображения в вид улицы, семантического изображения в архитектурное изображение и раскрашивание черно-белого изображения.Вторая строка - спутниковое фото на Google Map, день в ночь, и эскиз изображения в цветное изображение.

ноpix2pixGANНабор данных должен быть парным, то есть входное изображение и его ожидаемое выходное изображение представляют собой пару, но эта пара наборов данных очень требовательна, и во многих случаях такого парного изображения нет, поэтому существует улучшенная статья. в 2017 году»Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", этоCycleGAN, ему нужны только наборы данных исходного домена и целевого домена, и ему не нужны парные данные один к одному. Он может выполнять следующие преобразования:

  • Фото превратилось в художественный стиль
  • Преобразование обычных лошадей и зебр
  • Фотографии меняются с летнего на зимний стиль
  • Спутниковый снимок на Google Maps

Результаты реализации показаны ниже, первый ряд - трансформация художественной картины и фото, трансформация зебры и обычной лошади, трансформация летнего и зимнего сезонов, а вторая и третья строки - пример каждой трансформации.

6. Преобразование текста в изображение

Газета 2016 года"StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks», вводит использованиеStackGANЭто достигается путем создания фотореалистичных фотографий из простых текстовых описаний, таких как птицы и цветы. На следующем рисунке показаны два примера, результаты генерации двух предложений.Первое предложение описывает птицу, голова которой красная, а затем перья постепенно меняют цвет с красного на серый от головы к хвосту, а второе предложение описывает птицу темно-зеленого цвета. и имеет короткий клюв.

Еще одна статья 2016 года».Generative Adversarial Text to Image Synthesis” может получить больше описаний из текста в картинку, включая создание птиц, цветов и т. д., как показано на следующем рисунке:

Другие подобные документы включают в себя:

7. Семантическое преобразование изображения в фото

2017 Документы »High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs«Условные GAN используются для создания очень реалистичных фотографий, которые могут генерировать различные типы фотографий на основе заданной семантической фотографии:

  • Фотографии просмотра улиц
  • фото спальни
  • фото лица
  • Создание фотографии лица из заданного изображения эскиза

Пример создания фотографии Street View показан ниже:

8. Генерация изображения лицевой стороны

Газета 2017 года»Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis«Он реализует входную фотографию нефронтального лица и генерирует результат фотографии фронтального лица. Это можно применить к системе проверки лица или распознавания лиц.

Результаты, как показано ниже:

9. Создавайте новые человеческие позы

Документы 2017 года“Pose Guided Person Image Generation» Реализуйте позу, которая может быть задана входным изображением, а затем сгенерирована, как показано на рисунке ниже, входные данные представляют собой позу вперед, сбоку или сзади, и могут быть созданы новые позы, в том числе изображения лицом вперед и т. д.;

10. Преобразование фото в выражение

Газета 2016 г. -- "Unsupervised Cross-Domain Image Generation"Используйте GAN для создания изображений различных доменов, таких как количество просмотров улиц для наборов данных рукописных шрифтов, а затем сгенерируйте уровень выражений или мультяшных лиц. Как показано ниже:

11. Редактирование фотографий

Доклады на CVPR 2018“StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation«Он реализует редактирование фотографий, в основном редактирование атрибутов лица, как показано на рисунке ниже, он может изменять некоторые атрибуты лица, включая цвет волос, выражение, пол, возрастные изменения и т. д., в зависимости от того, набор содержит соответствующую метку.

Исходный код starGAN открыт, адрес проекта:

GitHub.com/Yunjin Malicious/star…

Другие подобные документы:

Следующие статьи посвящены в основном возрастным изменениям лица:

12. Смешивание изображений

Документы 2017 г.GP-GAN: Towards Realistic High-Resolution Image BlendingGAN используются для реализации операции микширования изображений, то есть для объединения различных элементов нескольких изображений, как показано на следующем рисунке, это объединение средней части изображения a с той же позицией изображения b.

13. Супер разрешение

Технология сверхвысокого разрешения изображения относится кизображения с низким разрешением генерируют изображения с высоким разрешениемпроцесс, технология надеется реконструировать изображение на основе существующей информации об изображении.Отсутствует деталь изображения.

Документы с ECCV 2018 --ESRGAN: Enhanced super-resolution generative adversarial networksПредложенная ESRGAN, Enhanced Super-Resolution Generative Adversarial Network, может добавлять реальные детали к изображениям с низким разрешением, тем самым создавая более четкие изображения. Результат его реализации таков:

*马克思·佩恩原版游戏截图与使用 ESRGAN 超分辨率重制游戏的截图。*

Адрес проекта ESRGAN:

GitHub.com/Новогодний комплект/ESR…

С помощью технологии GAN можно достичь не только сверхвысокого разрешения изображений, но и сверхвысокого разрешения видео.Temporally Coherent GANs for Video Super-Resolution (TecoGAN), в этой статье впервые представлен состязательный и повторяющийся подход к обучению для контроля пространственных высокочастотных деталей и временных отношений. Подробнее см. во введении к следующей статье:

Видео низкого разрешения также можно быстро преобразовать в высокое: алгоритм суперразрешения TecoGAN

Другие бумаги, в которых реализовано сверхвысокое разрешение:

14. Восстановление изображения

документы 2019 годаEdgeConnect: Generative Image Inpainting with Adversarial Edge LearningВосстановление изображения разделено на два этапа: создание краев, а затем завершение изображения, конкретное введение можно увидеть ниже:

Богиня была закодирована? Один мазок за раз, эффект превосходит Adobe | Открытый исходный код

Эффект выглядит следующим образом, показывая шесть примеров соответственно: изображение a — это изображение, которое необходимо восстановить, изображение b — это карта границ, сгенерированная в середине, а изображение c — окончательный результат восстановления.

адрес проекта:

GitHub.com/Посмотрите на эту дату/Высокая квота…

Другие бумаги:

15. 2d примерка

Бумага 2017 года --The Conditional Analogy GAN: Swapping Fashion Articles on People Images, попробуйте использовать GAN для достижения эффекта 2d примерки, бумага дает следующие результаты, дается модель и соответствующая одежда для замены, а затем замена одежды на модели.

Кто-то за границей внес некоторые изменения на основе этой статьи, написал предисловие к блогу и выложил код в открытый доступ. Результаты следующие:

Блог:Шаоань Роуд.WordPress.com/2017/10/26/…

Адрес на гитхабе:GitHub.com/shaoanlu/co…

В настоящее время эта технология не очень развита.

Другие подобные документы:

16. Видео прогноз

Бумага 2016 года --Generating Videos with Scene DynamicsПредставляет, как использовать GAN для прогнозирования видео, в основном применяемого к элементам в статических сценах, как показано на следующем рисунке:

17. Генерация 3D-объектов

Бумага 2016 года --Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial ModelingВ нем рассказывается, как с помощью GAN создавать новые трехмерные объекты, такие как стулья, автомобили, диваны, столы и т. д., как показано на следующем рисунке:

Еще одна статья 2016 года --3D Shape Induction from 2D Views of Multiple ObjectsОн также реализует заданное двумерное изображение объекта с несколькими перспективами для создания трехмерного объекта, как показано на следующем рисунке:

резюме

Чтобы узнать больше о применении GAN, вы также можете прочитать следующие статьи и проекты Github.

Ссылаться на

  1. Используйте CycleGAN для создания покемонов с разными атрибутами.
  2. Потрясающие результаты: классические игры, такие как The Elder Scrolls III, тоже работают.супер разрешениеГАН переработан
  3. Видео низкого разрешения также можно быстро преобразовать в высокое: алгоритм суперразрешения TecoGAN

Добро пожаловать в мой общедоступный аккаунт WeChat--Рост алгоритма обезьяны, или отсканируйте QR-код ниже, чтобы общаться, учиться и развиваться вместе!

Категории