Введение
Привет, меня зовут Джек.
Недавно я увидел очень интересный алгоритм ** человеческого тела.Передача действия**.
Дан один или несколькоИзображение человека А, и абзацВидео человека Б, вы можете автоматически синтезировать сегмент через алгоритм передачи действияВидео персонажа А, выполняющего действия задачи Б..
Подготовить материалы и компьютер,Продолжить практическое обучение сегодня.
Принцип алгоритма, построение среды, реализация эффекта,Поезда, все ниже!
2. Имитатор++
Предшественником Impersonator++ является Impersonator, выпущенный в прошлом году. В этой работе LiuWen, Zhixin Piao и др. из Шанхайского технологического университета исследовалитри года.
Прошлогодний Impersonator уже был выбран для ICCV 2019, крупнейшей конференции по компьютерному зрению.
После более чем года напряженной работы родилась улучшенная версия Impersonator++.
Impersonator++ решает проблему плохого обобщения прошлогоднего алгоритма, слишком маленького масштаба (256 x 256) и недостаточной автоматизации.
Impersonator++ может выполнять не только передачу действий человека, но и другие задачи синтеза человеческого изображения.может покрыть, такие как синтез нового вида, перенос внешнего вида.
Они находят применение в реконструкциях, анимации персонажей, виртуальных примерках, производстве фильмов и игр.Огромный потенциал применения.
Передача действияЦель (подражания) состоит в том, чтобы преобразовать действие исходного образа человека в действие эталонного образа человека.
Синтез новой перспективы, заключается в преобразовании угла обзора, чем исходное изображение является передним изображением, чтобы синтезировать его заднее изображение.
Миграция внешнего видазаключается в том, чтобы поменять местами внешний вид людей на двух изображениях (например, одежду, брюки, обувь и т. д., но не лица).
В ответ на предыдущую версию проблемы исследователи предложили вторую версию — Liquid Warping GAN with Attention.
Весь процесс разделен на три этапа: восстановление сетки тела, композиция потока, жидкостная деформация GAN.
Этап восстановления сетки тела заключается в выполнении 3D-реконструкции всех изображений, создании 3D-сетки каждого кадра персонажей и последующем рендеринге.
Этап Flow Composition предназначен для разделения переднего плана и фона и расчета ряда матриц вращения, необходимых для движения для последующего рендеринга действий.
Стадия Liquid Warping GAN — это процесс получения результатов с использованием алгоритма восстановления фона Inpainting и использования LWB или AttLWB для создания подробных текстур, таких как волосы и одежда.
Для лучшего эффекта восстановления вы можете использовать многокадровое изображение в качестве исходного изображения.
Для получения более подробных технических деталей вы можете непосредственно прочитать документ:
3. Проверка эффекта
Адрес проекта на гитхабе:
Для сборки окружения настоятельно рекомендуется использовать Linux.Я протестировал его на Windows и обнаружил некоторые проблемы.Я связался с автором в WeChat, и они сказали, что они будут исправлены в ближайшее время.
Без графического процессора вы также можетеПроститутка Google Colab, среда хорошо настроена, и вы можете испытать ее непосредственно, запуская ее ячейку за ячейкой.
Адрес Google Colab:
col AB.research.Google.com/drive/1BW ООН…
Если у вас нет лестницы, вы можете создать среду разработки только с сервером Linux или подождать, пока Windows это исправит.
Конфигурация среды Linux, без проблем, напрямую установите CUDA 10.1 или выше, а также установите gcc 7.5+ и ffmpeg.
Затем загрузите код, войдите в каталог проекта и используйте следующую команду для установки зависимостей:
После этого загрузите файл веса, требуемый алгоритмом, а файл веса проекта нуждается в лестнице для загрузки, иначе он будет очень медленным.
Для вашего удобства я будубумагаифайл веса, загруженный на сетевой диск Baidu, требуется самозагрузка (код извлечения: jack):
disk.baidu.com/is/1E0 и CRO для…
Разархивируйте файл весов в каталог активов.
После того, как все настроено, запустите команду напрямую:
python demo/motion_imitate.py --gpu_ids 0 \
--image_size 512 \
--num_source 2 \
--output_dir "./results" \
--assets_dir "./assets" \
--model_id "donald_trump_2" \
--src_path "path?=./assets/samples/sources/donald_trump_2/00000.PNG,name?=donald_trump_2" \
--ref_path "path?=./assets/samples/references/akun_2.mp4,name?=akun_2,pose_fc?=300"
Подробное описание параметров команды очень подробно написано в файле motion_imitate.py, поэтому повторяться здесь не будем.
Запустите команду, и все готово.
В-четвертых, болтовня
Я знаю, что после прочтения этой статьи у вас должно появиться много смелых идей.
Возьмет ли этот алгоритм новый круг призраков? Ждать и смотреть.
Я Джек, увидимся в следующий раз.
Статья постоянно обновляется, вы можете найти [JackCui-AI] в общедоступной учетной записи WeChat, чтобы прочитать ее впервые, эта статья GitHubGitHub.com/Джек-Чери — это…Он был включен, и есть полные тестовые сайты для интервью с крупными заводами.Добро пожаловать в Star.