Изменение лица ИИ - загрузка и установка Deepfacelab, учебник для начинающих (подробности стучите)

искусственный интеллект

Это 4-й день моего участия в ноябрьском испытании обновлений.Подробности о событии:Вызов последнего обновления 2021 г.

请添加图片描述

Изменение лица с помощью ИИ становится все более и более популярным, и везде есть видео с изменением лица, одним или другим. Существует несколько программ для изменения лица, и Deepfacelab, который я использую, — это программное обеспечение, основанное на глубоком обучении, которое может заменить лицо в видео на лицо, которое вы хотите. Здорово думать об этом, но такого рода зависимость от аппаратного обеспечения компьютера относительно велика, например, от видеокарты. Однако цена видеокарт в последнее время сильно колеблется, и в основном она недоступна, поэтому в качестве простого примера возьмем игровой ноутбук (GTX1060).

Изменение лица ИИ — это алгоритм искусственного интеллекта, использующий генеративно-состязательные сети (GAN, Generative Adversarial Networks).Первый контакт — это теория игр, исследованная фон Нейманом.

скачать

  1. Автор ГИТХАБ:GitHub.com/IP и o V/deep…

текущая версия

image-20211031124713697

  • DirectX12, AMD: поддержка DirectX12 и A-card
  • GTX10, 20: поддержка карт серии 10, серии 20 N
  • RTX30: поддерживает карты N серии 3000

Установить

  1. Загрузите соответствующую версию (на тестовом компьютере установлена ​​видеокарта GTX 1060)

    image-20211030223629365

  2. Загрузите сжатый пакет и разархивируйте его.

    image-20211031125357223

файл каталога

  1. ==_internal== Хранить содержимое, связанное с исходным кодом

  2. ==рабочая область== рабочий каталог

    image-20211031131116771

  3. ==.bat== Пакетный файл скрипта

    image-20211031125534961

Пример смены лица ИИ

Примечание. В видео используется встроенный

Приблизительные шаги для выполнения:

  1. Преобразование исходного видео в изображение (исходное изображение)
  2. Преобразование целевого видео в изображение (целевое изображение)
  3. Извлечение исходной информации о лице из исходного изображения
  4. Извлечение информации о целевом лице из целевого изображения
  5. Используйте аватар с информацией о лице для обучения модели (Model)
  6. Используйте модель для смены лица на картинке
  7. Экспорт составного видеоизображения после изменения лица

Шаг 1 Преобразование исходного видео в изображение

  1. [Дважды щелкните, чтобы запустить командный файл ==извлечь изображения из видео data_src.bat==]

    image-20211031132556292

    1. [0] Вырезать несколько изображений в секунду (?:help): 10
      • Представляет несколько снимков в секунду. То есть количество кадров в секунду (FPS [Frames Per Second]), частота кадров видео, частота кадров обычного видео 24, 30, 60 и т.д., то есть несколько картинок в одной второй.
      • Ввод 10 означает извлечение 10 картинок в секунду, если не вводить, то нажать Enter, по умолчанию 30, то есть извлечение 30 картинок в секунду
    2. [png] формат выходного изображения ( png/jpg ?:help ) : jpg
      • Извлекаемый формат изображения (Format), основные форматы — png, jpg.
      • png — это формат растрового изображения, который использует алгоритм сжатия без потерь и является громоздким.
      • jpg использует сжатие с потерями для удаления избыточных данных изображения, и искажения находятся в пределах определенного допустимого диапазона.

  2. После завершения обработки программы изображение, извлеченное из исходного видео, появится в каталоге ==workspace\data_src==.

    image-20211031133939193

Шаг 2: Преобразуйте целевое видео в изображение

  1. [Дважды щелкните, чтобы запустить пакетный файл == извлечение изображений из видео data_dst FULL FPS.bat ==]

    image-20211031134552264

    Те же шаги, что и в шаге 1, но целевое видео (data_dst) не должно пропускать кадры, просто установите формат изображения.

  2. После завершения обработки программы изображение, извлеченное из исходного видео, появится в каталоге ==workspace\data_dst==.

    image-20211031134928393

Шаг 3. Извлеките исходную информацию о лице из исходного изображения.

  1. [Дважды щелкните, чтобы запустить командный файл ==data_src faceset extract.bat==]

    image-20211031140019894

    6 параметров, обычно просто нажмите Enter по умолчанию, первые два шага относительно быстрые, этот шаг нужно подождать, конкретная скорость зависит от конфигурации компьютера. После начала извлечения внизу появится индикатор выполнения.Когда индикатор выполнения достигнет 100 %, извлечение будет завершено, и отобразится количество изображений и количество извлеченных лиц.

    image-20211031140637146

  2. После завершения обработки программы изображение лица, извлеченное из исходного изображения, появится в каталоге ==workspace\data_src\aligned==.

    image-20211031140829766

Шаг 4. Извлеките информацию о целевом лице из целевого изображения.

  1. [Дважды щелкните, чтобы запустить командный файл ==data_dst faceset Extract.bat==]

    image-20211031142759882

    Как и Шаг 4, вплоть до значения по умолчанию. После начала извлечения внизу появится индикатор выполнения.Когда индикатор выполнения достигает 100 %, извлечение завершено.

  2. После завершения обработки программы, в директории ==workspace\data_dst==, помимо фотографий из целевого видео, есть еще папка [aligned] [aligned_debug]

    image-20211031143216148

    1. Изображение лица, извлеченное из целевого изображения, хранится в каталоге ==workspace\data_dst\aligned==.

      image-20211031143528284

      После извлечения нам нужно его отфильтровать. Иногда в кадре изображений несколько человек, поэтому для точности нам нужно удалить лишние или размытые лица.

    2. Картинки, помеченные идентификацией, хранятся в каталоге ==workspace\data_dst\aligned_debug==

      image-20211031144509957

      image-20211031144529229

      • Красный указывает на область, где аватар перехватывается
      • Синий указывает на область лица
      • Зеленым цветом обозначены черты лица (основная черта) человеческого лица.

Шаг 5: Используйте аватар с информацией о лице для обучения модели (Model)

  1. [Дважды щелкните, чтобы запустить командный файл ==train Quick96.bat==]

    image-20211031145523950

    Введите название модели, выберите устройство и вообще выберите видеокарту. После завершения выбора программа автоматически инициализирует модель, загрузит образец и отобразит параметры модели.

    Дождитесь запуска, после запуска автоматически всплывет окно предварительного просмотра и в командной строке отобразятся следующие параметры

    image-20211031150028112

    Просто сосредоточьтесь на количестве итераций, потерях SRC и DST.

    • Чем больше итераций, тем лучше
    • Чем ниже потери SRC и DST, тем лучше

    Окно предварительного просмотра содержит советы по работе, кривые потерь и области лица.

    Область лица разделена на пять столбцов. [Исходное лицо | Генерация алгоритма | Целевое лицо | Генерация алгоритма | Генерация алгоритма | Генерация алгоритма]

    image-20211031150608683

    По мере увеличения количества итераций обучения алгоритм будет постепенно генерировать контур лица, черты лица, а затем постепенно становиться более четкими.

  2. В окне предварительного просмотра мы можем использовать клавиатуру (переключить метод ввода английского языка) для работы: P для обновления, Enter для остановки, S для сохранения.

    image-20211031151216801

    Нам нужно только наблюдать, является ли второй столбец бесконечно подобным первому столбцу, четвертый столбец бесконечно подобен третьему столбцу, а выражение пятого столбца бесконечно подобен четвертому столбцу.

    Когда картина всех столбцов будет достаточно четкой, тогда можно остановиться.

Шаг 6: Используйте модель, чтобы изменить лицо изображения

  1. [Дважды щелкните, чтобы запустить пакетный файл == слить Quick96.bat ==]

    QQ截图20211031162735

    После выбора модели, устройства, запуска интерактивного синтеза и количества потоков процессора (обычно меньше или равно 8) нажмите Enter.

    Через некоторое время появится интерфейс справки.

    image-20211031164039368

    Интерфейс справки показывает сочетания клавиш и функции, которыми мы можем управлять.

  2. Нажмите клавишу Tab, чтобы открыть интерфейс композитного предварительного просмотра.

    image-20211031164233019

  3. Настройка с помощью горячих клавиш

    image-20211031164550640

    • Нажмите E, чтобы увеличить растушевку, D, чтобы уменьшить растушевку.

    • " клавиша для перехода к предыдущему кадру, " клавиша для перехода к следующему кадру

    • После завершения настройки нажмите shift+? Применить параметры ко всем кадрам

    • Нажмите shift+>, чтобы начать автокомпозитинг.

  4. Дождитесь, пока прогресс синтеза достигнет 100%, то есть синтез завершен, просто закройте окно вручную

    image-20211031165315175

  5. В каталоге ==workspace\data_dst== есть две папки [merged | merged_mask]

    image-20211031165734375

    В объединенном каталоге сохраняются измененные изображения.

    image-20211031165840728

    image-20211031165900291

Шаг 7: Экспортируйте составное видео изображения после изменения лица.

  1. [Дважды щелкните, чтобы запустить командный файл == объединенный в mp4.bat==]

    image-20211031170122414

    Программное обеспечение будет автоматически считывать информацию о конфигурации исходного видео, такую ​​как частота кадров и звуковая дорожка.Нам нужно только установить выходной битрейт.Битрейт обычно устанавливается равным 3.

  2. Дождитесь завершения синтеза

    image-20211031170358157

  3. Окончательное синтезированное видео (result.mp4) появляется в каталоге ==workspace== (result_mask.mp4 — это маска видео для последующего использования).

    image-20211031170430984

  4. Сравнительное видео

    QQ截图20211031170733

Технология сама по себе не хороша и не плоха, ключ в том, как ее использовать! ! !

Категории