Ставьте лайк и смотрите снова, выработайте привычку, найдите [JackCui-AI] в общедоступной учетной записи WeChat и подпишитесь на этого программиста, который любит создавать технические галантереи. Эта статьяGitHubGitHub.com/Джек-Чери — это…Включено, и есть полные тестовые площадки, материалы и мой цикл статей для интервью с производителями первой линии.
Введение
В только что прошедшем ECCV 2020 года есть технология «стелс» ИИ, которая привлекает внимание.
У ребенка, который сидел на качелях, внезапно осталась только рама качелей.
Пусть исчезнут гуляющие пешеходы, пусть исчезнут автомобили «Мерседес-Бенц».
Такой забавный ИИалгоритм, Вы хотите узнать?
Старые правила и сегодня продолжают учить на практике.
Принцип алгоритма, построение среды, реализация эффекта,Поезда, все ниже!
2. ФГВК
Автор FGVC — парень из Пекина после 90-х, который в настоящее время учится на третьем курсе докторской степени в области компьютерной инженерии в Технологическом институте Вирджинии под руководством китайского профессора Цзя-Бин Хуанга.
Алгоритм FGVC по существу являетсясветовой потокзаконныйремонт видеоалгоритм.
световой потокМетод представляет собой концепцию обнаружения движения объекта в поле зрения, которая используется для описания движения цели наблюдения, поверхности или края, вызванного движением, и в основном используется в компьютерном зрении и обработке изображений.
Используя методы оптического потока, можно найти взаимосвязь между различными кадрами, и видео может быть завершено путем распространения информации между различными кадрами.
FGVC в основном включает три этапа: завершение потока, временное распространение и слияние.
Flow completion: В конкретной операции вычисляются прямой оптический поток и обратный оптический поток между соседними кадрами, а также прямой оптический поток и обратный оптический поток набора несмежных кадров (нелокальных).
Temporal propagation: следуя траектории оптического потока, для каждого отсутствующего пикселя находится набор пикселей-кандидатов, и для каждого кадра-кандидата оцениваются показатель достоверности и метрика двоичной достоверности.
Fusion: Используя средневзвешенное значение достоверности, соедините каждого отсутствующего пикселя-кандидата по крайней мере с одним допустимым кандидатом. При отсутствии пикселей-кандидатов используется ключевой кадр, и для его заполнения используется метод завершения одного изображения.
Для более конкретных принципов, таких как дополнение оптического потока по краям и т. Д., Вы можете пойти «прогрызть» бумагу и изучить ее.
Адрес бумаги:
3. Конфигурация среды
Чтобы проверить действие алгоритма, необходимо сначала развернуть среду разработки.
Адрес проекта с открытым исходным кодом Github:GitHub.com/vt-V-neck-horn/F…
Загрузка Github медленная, вы можете скачать код, который я упаковал (код извлечения: jack):
disk.baidu.com/is/1he_Ed ДД ГМ…
Для завершения развертывания рекомендуется использовать Anaconda.Если вы не знаете, как использовать conda, вы можете прочитать еще одно базовое руководство, которое я написал:
Настройте среду разработки Python раз и навсегда
Алгоритм FGVC основан на двух других алгоритмах, DeepFill и RAFT.
Итак, можно создать две виртуальные среды FGVC и raft.
Среда FGVC использует PyTorch 0.4.0 и настраивает среду алгоритма DeepFill.
Способ настройки среды DeepFill:
GitHub.com/север-юг/глубокий-F…
Установите зависимую библиотеку напрямую с помощью команды:
pip install -r requirements.txt
Среда плота использует PyTorch 1.6.0 и настраивает среду алгоритма RAFT.
Способ настройки среды RAFT:
Это относительно просто, просто используйте conda для установки необходимых библиотек.
После завершения настройки вы можете протестировать действие алгоритма!
В-четвертых, тест на эффект
Сначала активируйте виртуальную среду плота, пока в результатах выполнения не появится подсказка:
«Пожалуйста, переключитесь на Pytorch 0.4.0»
Затем переключитесь в виртуальную среду FGVC и снова запустите код.
Удаление объекта:
cd tool
python video_completion.py \
--mode object_removal \
--path ../data/tennis \
--path_mask ../data/tennis_mask \
--outroot ../result/tennis_removal \
--seamless
Экстраполяция поля зрения:
cd tool
python video_completion.py \
--mode video_extrapolation \
--path ../data/tennis \
--outroot ../result/tennis_extrapolation \
--H_scale 2 \
--W_scale 2 \
--seamless
Если вы хотите рассчитать быстрее, вы можете удалить бесшовный параметр.
Алгоритм требует rgb картинки и маски картинки.Эти данные известны.Чтобы удалить любой объект достаточно указать маску объекта.
текущий результатСхема:
5. Наконец
Есть много интересных алгоритмов ИИ. Следуйте за мной, чтобы показать вам все виды интересных алгоритмов. Меня зовут Джек Цуй. Увидимся в следующем выпуске!
Статья постоянно обновляется, вы можете найти [JackCui-AI] в общедоступной учетной записи WeChat, чтобы прочитать ее впервые, эта статья GitHubGitHub.com/Джек-Чери — это…Он был включен, и есть полные тестовые площадки для интервью на крупных заводах Добро пожаловать в Star.