Друзья, если вам нужно перепечатать, пожалуйста, указывайте источник:blog.CSDN.net/Генерал сказал, о...
В настоящее время GAN имеет множество приложений в направлении генерации лиц. Например, DeepFake, проект социальных сетей Reddit и Twitter в начале 2018 года, его основная функция очень проста: обмениваться лицами на видео или изображениях. Эта функция не кажется сложной для тех мастеров рисования, но DeepFake полностью обрабатывается на основе возможностей самого компьютера, и конечный эффект настолько хорош, что иногда люди едва видят модификацию.
Первоначальная версия DeepFake использовала технологию автоматического кодирования. Позже в сети появилась улучшенная версия Faceswap-GAN на основе GAN. Ниже приводится краткое введение в общую идею ее работы. На следующем рисунке показана схема фазы обучения и тестирования Faceswap-GAN.Во время процесса обучения требуется большой объем данных лица A, и он искажается алгоритмом, чтобы стать отличным от лица A, а затем автоэнкодер используется для создания маски для реконструкции лица и, наконец, восстановления данных лица А с помощью информации о маске и ранее введенной информации. В процессе тестирования сеть будет рассматривать информацию о лице B как искаженное лицо тренировочного набора в тренировочном наборе и восстанавливать его до состояния лица A с помощью тех же шагов.
На следующем рисунке показана целевая функция вышеупомянутого Faceswap-GAN, которая состоит из трех функций потерь. Первый член — это потеря реконструкции, которая гарантирует, что реконструированное лицо будет похоже на исходное лицо. Второй элемент — это состязательная потеря в GAN, которая требует, чтобы компьютер определил, является ли выходное лицо реальным или сгенерированным. Последний элемент является необязательным и представляет собой перцепционную потерю данных лица, которая используется для оценки общего сходства между исходным изображением и сгенерированным изображением.
В настоящее время полный дизайн кода Faceswap-GAN можно найти в исходном коде проекта на GitHub. С точки зрения приложений, большая часть «обмена лицом» по-прежнему используется для интересных онлайн-приложений, например, в известном зарубежном социальном ПО SnapChat есть очень популярный фильтр, который может менять лицо пользователя. Кроме того, с коммерческой точки зрения, например, эту технологию можно применять для постобработки в кинопроизводстве, и замена лица каскадера может быть полностью обработана по этой технологии.
Кроме того, GAN также применялся к большему количеству других изменений лица, таких как предсказание изменения возраста для лиц. Как показано на рисунке ниже, на входе — фотография молодого человека, а на выходе — прогноз того, как внешний вид пользователя изменится с возрастом.