Алгоритм SkyAR — это визуальный метод смещения и координации неба в видео, который может автоматически генерировать реалистичный фон неба в видео с контролируемым стилем. Принцип алгоритма и реализация алгоритма описаны в этой статье.
Введение
Небо — ключевой элемент фотографии.
Небо игры, мы можем настроить его по желанию, это может быть ясное небо или гроза.
Реалистичное небо, мы также можем использоватьалгоритмвнести коррективы,алгоритмРеалистичный эффект
Тысячи миль звездного неба, яркая луна и тысячи миль, молнии и гром, всевозможныеэффекты погоды, алгоритм генерируется одним кликом.
Даже он может генерировать движущийся замок и город в небе, которые доступны только в спецэффектах фильма.
Хотите изучить такой забавный алгоритм ИИ?
Старые правила и сегодня продолжают учить на практике.
Принцип алгоритма, построение среды, реализация эффекта,Поезда, все ниже!
2. СкайАР
SkyAR — это видеозамена небаБлагодаря методу координированного зрения этот метод может автоматически генерировать реалистичные фоны неба в видео с контролируемым стилем.
Алгоритм полностьюоснованный на виденииПреимущество этого решения в том, что оно может обрабатывать нестатические изображения, оно не ограничено съемочным устройством и не требует взаимодействия с пользователем, а также может обрабатывать видео онлайн или офлайн.
Используя графический процессор NVIDIA Titan XP с одной картой, SkyAR обрабатывает видео 640 x 320 со скоростью 24 кадра в секунду в режиме реального времени.
Алгоритм в основном состоит из трех ядер:
- Сеть матирования неба: это своего рода разделение изображения матирования, которое используется для обнаружения области неба видеокадра в видео и может точно получить маску неба.
- Оценка движения: модуль оценки движения, который восстанавливает движение неба, синхронизируя результирующее небо с движением камеры.
- Смешивание изображений: смешивает указанный пользователем шаблон неба с видеокадром. Среди прочего, он используется для сброса и затенения, чтобы сделать результат смешивания более реалистичным визуально в его цвете и динамическом диапазоне.
Полный кадр выглядит следующим образом:
Сеть Sky Cutout: Используется для обнаружения областей неба в кадрах видео. В отличие от предыдущих подходов, которые определяют этот процесс как проблему классификации на уровне двоичных пикселей (передний план и небо), в этом исследовании предлагаетсяглубокое обучениеКонвейер прогнозирования от грубого к точному для получения более точных результатов обнаружения и более приятных эффектов смешивания.
оценка движения: Используется для восстановления движения неба. Видео неба, снятое виртуальной камерой, необходимо визуализировать и синхронизировать с движением реальной камеры. В исследовании предполагается, что небо и объекты на небе (например, солнце, облака и т. д.) расположены на бесконечности, и используются аффинные матрицы для моделирования их движения относительно переднего плана.
слияние изображений: при прогнозировании маски неба чем выше значение выходного пикселя, тем выше вероятность того, что пиксель принадлежит фону неба. В традиционных методах вновь синтезированные видеокадры линейно комбинируются с фоном, обычно с использованием уравнения маски изображения, в качестве весовых коэффициентов их комбинации на уровне пикселей.
Но поскольку цвета переднего плана и фона могут иметь разные оттенки и интенсивность, непосредственное выполнение вышеописанного метода может привести к нереалистичным результатам. Поэтому исследователи применили методы перекрашивания и повторного освещения, чтобы передать цвет и интенсивность с фона на передний план.
Для получения более подробной информации вы можете прочитать статью напрямую:
Адрес бумаги:АР Вест V.org/ABS/2010.11…
3. Проверка эффекта
Адрес проекта на гитхабе:GitHub.com/Просто произносите подделку/S…
Первым шагом является установка библиотеки зависимостей.
Просто установите зависимую библиотеку в соответствии с требованиями.txt, это очень просто.
Второй шаг — загрузить файл веса обученной модели.
Адрес для скачивания (нужно перевернуть стену):Нажмите, чтобы просмотреть
Третий шаг — изменить файл конфигурации.
В каталоге config есть несколько файлов конфигурации, вы можете изменить шаблоны видео и неба в соответствии со своей ситуацией.
"net_G": "coord_resnet50",
"ckptdir": "./checkpoints_G_coord_resnet50",
"input_mode": "video",
"datadir": "./test_videos/canyon.mp4",
"skybox": "galaxy.jpg",
"in_size_w": 384,
"in_size_h": 384,
"out_size_w": 845,
"out_size_h": 480,
"skybox_cernter_crop": 0.5,
"auto_light_matching": false,
"relighting_factor": 0.6,
"recoloring_factor": 0.5,
"halo_effect": true,
"output_dir": "./eval_output",
"save_jpgs": false
}
ckptdir — это распакованный каталог файла веса, datadir — это каталог входного видео, а skybox — это используемый шаблон неба.
Сгенерированные эффекты сохраняются в директорию output_dir.
Измените файл конфигурации и запустите его напрямую с помощью команды:
python skymagic.py --path .\config\config-canyon-galaxy.json
--path Указывает используемый файл конфигурации.
текущий результат:
Скорость обработки очень высокая, и она заканчивается через некоторое время.
Отображение большего эффекта:
Я запаковал программу, все настроено и можно использовать напрямую.
Адрес загрузки (код извлечения: jack):
Disk.Baidu.com/Yes/1Сотни тысяч SRM На самом деле…
Четвертый, последний
Есть много интересных алгоритмов ИИ. Следуйте за мной, чтобы показать вам все виды интересных алгоритмов. Меня зовут Джек Цуй. Увидимся в следующем выпуске!
Статья постоянно обновляется, вы можете найти [JackCui-AI] в общедоступной учетной записи WeChat, чтобы прочитать ее впервые, эта статья GitHubGitHub.com/Джек-Чери — это…Он был включен, и есть полные тестовые площадки для интервью на крупных заводах Добро пожаловать в Star.