Иногда мы можем задаться вопросом, каково было бы нанести чужой макияж на свое лицо. Теперь, вместо того, чтобы тратить время на изучение техники макияжа и тратить деньги на макияж, модели глубокой генерации позволяют легко примерить чужой макияж.
Выбрано из arXiv, автор: Wentao Jiang и др., составлено Heart of the Machine, участие: Panda.
Визуализация переноса макияжа, мы надеемся, что модель сможет перенести стиль макияжа из ссылки на источник, чтобы получить результаты.
В области трансферного обучения существует задача, называемая переносом макияжа, которая заключается в переносе макияжа с произвольного эталонного изображения на исходное изображение без макияжа. Этот метод требуется для многих приложений для улучшения портретов. Некоторые недавние методы передачи макияжа в основном основаны на генеративно-состязательных сетях (GAN). Обычно они используют структуру CycleGAN и обучаются на двух наборах данных, а именно на изображениях без макияжа и изображениях с макияжем.
Однако у существующих методов есть ограничение: они хорошо работают только на фронтальных изображениях лица, и ни один модуль не разработан специально для обработки различий в позе и выражении лица между исходным и эталонным изображениями. Кроме того, их нельзя напрямую использовать для частичного переноса макияжа на этапе тестирования, поскольку они не могут извлекать особенности макияжа с учетом пространственного положения.
Чтобы преодолеть эти проблемы и лучше обслуживать сценарии реального мира, такие исследователи, как Ян Шуичэн, считают, что идеальная модель переноса макияжа должна иметь следующие возможности:
Способность надежно обрабатывать различные позы, то есть генерировать высококачественные результаты, когда позы исходного и эталонного изображений различаются, например, возможность переноса макияжа с изображения профиля на фронтальное изображение.
Он может реализовать процесс миграции по частям, то есть макияж различных областей лица, например, тени для век или блеск для губ, можно перенести отдельно.
Возможность контролировать глубину макияжа, то есть усиливать или ослаблять эффект перенесенного макияжа. Чен и др. 2019 предложили разложить изображение на скрытый код макияжа и скрытый код лица, чтобы контролировать уровень макияжа, но в этом исследовании не учитывались две другие потребности.
В ответ на эти потребности исследователи предлагают новую позиционно-устойчивую генеративно-состязательную сеть с пространственной осведомленностью (PSGAN).
Адрес статьи: https://arxiv.org/pdf/1909.06956.pdf
Благодаря развитию современных методов передачи стиля с использованием матрицы макияжа, модели нужно только выполнить масштабирование и смещение карты признаков для достижения переноса макияжа. Однако перенос макияжа немного сложнее, чем перенос стиля, который требует учета как результатов, так и тонких деталей стиля макияжа.
Исследователи предлагают использовать MDNet для уточнения состава эталонного изображения в две матрицы макияжа γ и β, обе из которых имеют то же пространственное измерение, что и визуальные признаки. Затем модуль АММ деформирует γ и β, чтобы адаптировать их к исходному изображению, чтобы получить адаптивную матрицу макияжа γ' и β'.
Этот модуль AMM может устранить смещение, вызванное различиями в позах, что делает PSGAN устойчивым к различным позам. Наконец, недавно предложенная DRNet сначала удаляет исходное изображение, а затем выполняет повторный макияж, применяя матрицы γ' и β' посредством попиксельного взвешенного умножения и добавления к удаленному результату.
Поскольку стиль макияжа извлекается в ощутимом пространстве, покомпонентная миграция может быть достигнута путем установки веса в попиксельной операции в соответствии с результатом анализа лица. Например, на верхнем левом изображении рисунка 1 блеск для губ, кожу и тени для век можно перенести отдельно.
Установив веса в скаляры в интервале [0,1], достигается контроль над степенью затенения. Рисунок 1. На нижнем левом изображении показан пример: слева направо увеличивается количество макияжа. Модуль AMM PSGAN также может эффективно решить проблему различий в позе и выражении лица. Верхний правый и нижний правый графики на рисунке 1 показывают примеры переноса, когда промежутки между позой и выражением лица большие соответственно. Исследователи считают, что эти три недавно предложенных модуля позволяют PSGAN иметь возможности вышеупомянутой модели переноса идеального макияжа.
Эта модель позволяет пользователю контролировать степень затенения и область переносимого изображения.
Вклад исследования заключается в следующем:
PSGAN — это первый метод на основе GAN, который может одновременно обеспечивать покомпонентный перенос, перенос с контролируемым оттенком и стабильный перенос.
Недавно предложенный модуль AMM может настроить матрицу макияжа, извлеченную из эталонного изображения, чтобы она соответствовала исходному изображению. Этот модуль дает PSGAN возможность переносить стили макияжа между изображениями с разными позами.
Исследователи провели обширные качественные и количественные эксперименты, и результаты показали, что ПСГАН эффективен.
что такое модельная архитектура
Для структуры PSGAN сначала DRNet выполняет операцию удаления макияжа с исходного изображения, а MDNet извлекает матрицу макияжа из эталонного изображения. Модуль AMM применяет извлеченную матрицу к выходной карте признаков третьего узкого места DRNet для переноса макияжа.
Для модуля AMM зеленый модуль со 136 (68 × 2) каналами представляет вектор относительного положения пикселя, который затем объединяется с визуальными признаками C-канала. Исходя из этого, карта внимания может быть рассчитана для каждого пикселя исходного изображения по сходству относительного положения с визуальным признаком. Модуль AMM получает матрицы адаптивного макияжа γ' и β', которые затем перемножаются и добавляются поэлементно в качестве карты характеристик DRNet. Оранжевые и серые модули на рисунке представляют собой черты с макияжем и без него соответственно.
Наконец, для карты внимания обратите внимание, что здесь вычисляются только значения внимания пикселей, принадлежащих к одной и той же области лица. Поэтому на губах и глазах эталонного изображения значения отклика отсутствуют.
MDNet использует архитектуру «узкое место кодировщика», используемую в (Choi et al. 2017; Li et al. 2018), без части декодера. Он отделяет черты, связанные с макияжем (например, блеск для губ, тени для век), от внутренних черт лица (например, форма лица, размер глаз). Свойства, связанные с макияжем, представлены в виде двух матриц макияжа γ и β, которые затем используются для передачи макияжа посредством операций на уровне пикселей. Как показано на рисунке 2(B), карта признаков эталонного изображения подается на два сверточных слоя 1×1, в результате чего получаются γ и β.
Поскольку между исходным и эталонным изображениями могут быть различия в позе и выражении лица, результирующие перцептивные пространственные паттерны γ и β не могут быть непосредственно применены к исходному изображению. Модуль AMM вычисляет матрицу внимания A, которая показывает деформацию пикселей исходного изображения относительно пикселей эталонного изображения.
DRNet использует архитектуру «кодировщик-узкое место-декодер», аналогичную (Choi et al. 2017; Li et al. 2018). Как показано на рисунке 2(A), кодирующая часть DRNet такая же, как и MDNet, но их параметры не совпадают, поскольку их функции различны. Часть кодировщика использует нормализацию экземпляра без аффинных параметров, так что карты признаков обычно распределяются, что можно рассматривать как процесс удаления макияжа.
PSGAN использует множество целевых функций:
Враждебная потеря дискриминатора и враждебная потеря генератора;
Потеря согласованности цикла, предложенная Чжу и др. 2017, где потеря L1 используется для ограничения реконструированных изображений и определения потери согласованности цикла;
Потеря восприятия с использованием потери L2 для измерения разницы в личной идентичности между переданным изображением и исходным изображением. Мы использовали модель VGG-16, предварительно обученную в ImageNet, для сравнения активаций в скрытых слоях исходного и сгенерированного изображений;
Потеря макияжа, предложенная Ли и др., 2018, может служить приблизительным ориентиром для миграции макияжа;
Общий убыток, взвешенная сумма вышеуказанных убытков.
Исследователи использовали набор данных MT (Makeup Transfer) (Li et al. 2018; Chen et al. 2019) для обучения и тестирования сети. Он содержит 1115 исходных изображений и 2719 эталонных изображений.
Контролируемый эксперимент
Рисунок 3 демонстрирует эффективность модуля AMM.
На рис. 4 показано, что одного лишь рассмотрения относительного положения недостаточно для достижения хорошей деформации матрицы макияжа. Если рассматривать только относительные позиции, карта среднего внимания напоминает двумерное распределение Гаусса.
Частичный макияж и интерполированный макияж
Поскольку матрицы макияжа γ и β являются матрицами с пространственным представлением, при тестировании можно добиться частичного переноса и интерполяционного переноса. Чтобы создать частичный макияж, исследователи использовали результаты анализа лица, чтобы взвесить эти две матрицы, чтобы рассчитать новую матрицу внешнего вида макияжа.
На рис. 6 показаны результаты частичного смешения стилей макияжа двух эталонных изображений. Результаты в третьем столбце объединяют макияж губ эталонного изображения 1 с остальной частью эталонного изображения 2, что выглядит естественно и реалистично. Эта новая функция частичного макияжа позволяет PSGAN реализовать индивидуальный перенос макияжа.
Кроме того, операция интерполяции двух эталонных изображений также может быть реализована с помощью коэффициента α∈[0,1]. На рис. 5 показаны интерполированные результаты переноса макияжа с использованием одного или двух эталонных изображений. Передавая новый тензор макияжа в DRNet, мы добиваемся плавного перехода между стилями макияжа двух эталонных изображений. Полученные результаты показывают, что PSGAN может не только контролировать интенсивность миграции макияжа, но и генерировать новые стили макияжа, смешивая тензоры макияжа двух стилей макияжа. Это значительно расширяет область применения переноса макияжа.
количественное сравнение
Исследователи также провели исследования пользователей Amazon Mechanical Turk (AMT), количественно сравнив PSGAN с BGAN (BeautyGAN) (Li et al. 2018), CGAN (CycleGAN) (Zhu et al. 2017), DIA (Liao et al. 2017). др. 2017) результаты.
Качественное сравнение