Восстановление старых фильмов с помощью PaddleGAN

Эта статья включена в:Общество исследования искусственного интеллекта

Генеративно-состязательная сеть GAN была провозглашена «отцом сверточных сетей» Яном Лекуном (Ян Ликун) как «одна из самых интересных идей в области компьютерных наук за последнее десятилетие» и пользуется популярностью во всем Интернете. в последние годы. Исследователи используют GAN для создания множества интересных приложений, таких как преобразование изображений, сверхвысокое разрешение, передача действий и т. д.

В этой статье вы узнаете, как использовать PaddleGAN, пакет GAN, основанный на платформе Baidu PaddlePaddle, для восстановления старых фильмов.

Давайте сначала посмотрим на эффект восстановления.

Как насчет этого? Эффект не плохой. Ниже я проведу вас шаг за шагом, чтобы добиться восстановления старого фильма.

1. Установите комплект PaddleGAN.

Исходный код можно скачать прямо с github.

git clone https://github.com/PaddlePaddle/PaddleGAN.git

Его также можно запаковать и загрузить по адресу, указанному в конце этой статьи.

Затем определите версию Python и версию CUDA машины.Обратите внимание, что вам нужно использовать видеокарту для запуска пакета PaddleGAN, иначе скорость будет очень низкой.

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10.1-cudnn7-mkl_gcc8.2%2Fpaddlepaddle_gpu-2.0.0rc0.post101-cp38-cp38-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10.1-cudnn7-mkl_gcc8.2%2Fpaddlepaddle_gpu-2.0.0rc0.post101-cp37-cp37m-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10.1-cudnn7-mkl_gcc8.2%2Fpaddlepaddle_gpu-2.0.0rc0.post101-cp36-cp36m-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10-cudnn7-mkl%2Fpaddlepaddle_gpu-2.0.0rc0.post100-cp38-cp38-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10-cudnn7-mkl%2Fpaddlepaddle_gpu-2.0.0rc0.post100-cp37-cp37m-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10-cudnn7-mkl%2Fpaddlepaddle_gpu-2.0.0rc0.post100-cp36-cp36m-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda9-cudnn7-mkl%2Fpaddlepaddle_gpu-2.0.0rc0.post90-cp38-cp38-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda9-cudnn7-mkl%2Fpaddlepaddle_gpu-2.0.0rc0.post90-cp37-cp37m-linux_x86_64.whl

python -m pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda9-cudnn7-mkl%2Fpaddlepaddle_gpu-2.0.0rc0.post90-cp36-cp36m-linux_x86_64.whl

После загрузки соответствующей версии платформы paddlepaddle используйте следующую команду для ее установки.

pip install https://paddle-wheel.bj.bcebos.com/2.0.0-rc0-gpu-cuda10.1-cudnn7-mkl_gcc8.2%2Fpaddlepaddle_gpu-2.0.0rc0.post101-cp37-cp37m-linux_x86_64.whl

Затем установите комплект PaddleGAN.

cd PaddleGAN/
pip install -v -e .

Установить зависимости

pip install -r requirments.txt -i https://pypi.douban.com/simple

2. Ремонт старых фильмов

Для начала вам необходимо подготовить черно-белый видеоролик на несколько минут.Если у вас его нет, вы можете скачать примеры в этой программе по адресу в конце этой статьи. Перейдите в каталог приложений, чтобы выполнить скрипт.

cd applications
python tools/video-enhance.py --input xiaobing1.mp4 --process_order  DeOldify  --output /home/aistudio/output_dir

--input Указывает путь к входному видеофайлу.

--output Указывает путь, по которому сохраняется восстановленное видео.

--process_order указывает алгоритм, алгоритм будет выполняться по порядку.

В настоящее время инструмент восстановления поддерживает следующие алгоритмы:

• DAIN: Алгоритм вставки кадров, который будет вставлять кадры с частотой кадров, в два раза превышающей частоту кадров исходного видео.
• DeepRemaster: восстановление видео, обычно используемое, когда исходное видео размыто.
• DeOldify: Восстановление раскраски, раскрашивание черно-белого видео, например, рендеринг в начале этой статьи.
• RealSR: Супер-разрешение, которое может увеличить разрешение видео, обеспечивая при этом четкость, подходит для видео с низким разрешением.
• EDVR: супер-разрешение, которое может увеличить разрешение видео, обеспечивая при этом четкость, подходит для видео с низким разрешением

Вышеупомянутые алгоритмы могут быть соответствующим образом объединены в соответствии с реальной ситуацией. Разрешение исходного видео в примере достаточно высокое, чтобы не использовать алгоритм суперразрешения.

После выполнения кода консоль выводит следующее:

You are using Paddle compiled with TensorRT, but TensorRT dynamic library is not found. Ignore this if TensorRT is not needed.Model DeOldify proccess start..
W0108 18:59:55.299445  5019 device_context.cc:338] Please NOTE: device: 0, CUDA Capability: 70, Driver API Version: 11.0, Runtime API Version: 10.1
W0108 18:59:55.304046  5019 device_context.cc:346] device: 0, cuDNN Version: 7.6.
[01/08 18:59:59] ppgan INFO: Found /home/aistudio/.cache/ppgan/DeOldify_stable.pdparams
  1%|▍                                                                                  | 10/1806 [00:09<29:50,  1.00it/s]

Программа может выполняться очень долго. На время работы программы влияют длина и разрешение входного видео, а также комбинация используемых алгоритмов. После запуска восстановленное видео будет сгенерировано по пути, указанному параметром --output.

Исходный код и адрес загрузки примера видео:blog.AI Study club.com/2021/01/08/…