Нажмите выше"Машинное обучение и генеративно-состязательные сети", обратите внимание на "звездочку"
Получите удовольствие, удовольствие, передовые галантерейные товары!
В прошлом семестре Лао Чжу выбрал танец на уроке физкультуры, хе-хе.. Неожиданно учитель попросил каждого ученика выучить шпагат. . . После семестра упорных тренировок Лао Чжу наконец смог сесть на шпагат! ! !
Картинка из сети, вторгайся и удаляй
но! После долгих зимних каникул дома Лао Чжу лег спать после еды, и ему уже давно было трудно восстановить бодрость дня! В этот день на онлайн-уроке физкультуры учитель физкультуры попросил учеников показать шпагат. . А старый Чжу...
В спешке старый поросенок солгал учителю и сказал, что сетевой кабель дома вчера мышью отключил, с мобильным телефоном проблема, и он не может купить большой пакет данных. Учитель сказал, но...
Далее, как вы думаете, сможет ли GAN завершить обработку изображений и помочь Лао Чжу завершить расщепление?
\
ранее участвовалПереход позыСегодня я видел статью о CVPR2020 об этом аспекте обработки изображений, сделайте следующее.минималистскийПоделитесь, читайте исходный текст для более подробной информации:
Deep Image Spatial Transformation for Person Image Generation
А. Р. Уэст В. Мытый Search.top/PDF/2003.00…
Преобразование позы относится к преобразованию позы исходного изображения в целевую позу. Эта задача требует пространственных манипуляций с исходным изображением. А у сверточных нейронных сетей нет возможности пространственно преобразовывать входное изображение. В этой статье предлагается дифференцируемая структура глобального потока и локального внимания для повторного преобразования и интеграции входных данных на уровне функций. В частности, сначала вычисляется глобальная корреляция между исходным изображением и целевым изображением, и прогнозируется поле потока. Затем из карты объектов извлекается пара переданных локальных патчей для вычисления локального внимания. Наконец, полученные коэффициенты локального внимания преобразуются в функции исходного изображения с использованием выборки с учетом содержимого. Для проверки метода были проведены субъективные и объективные проверочные эксперименты. Кроме того, экспериментальные результаты, такие как анимация изображений и синтез изображений, также показывают, что модель подходит для других задач, требующих пространственного преобразования.
Структура сети показана ниже: генератор изображения целевой позы G (синяя часть), оценщик потока F (красная часть).
Оценщик расхода F
Получите (исходное изображение позы, исходную структуру позы, изображение целевой позы) в качестве входных данных, выходное поле потока w (включая информацию о смещении координат) и маску окклюзии m (указывающую, существует ли информация о целевой позиции в исходном изображении):
Связанные с этим потериПотеря правильности выборки(потеря правильности выборки), который использует особенности слоя VGG19 для вычисления косинусного расстояния между целевым изображением и дискретизированными характеристиками исходного изображения.
\
Потеря корректности выборки ограничивает поле потока выборкой семантически подобных областей. Хотя деформации преобразования окрестностей изображения сильно коррелированы, было бы полезно иметь возможность извлечь эту взаимосвязь. Поэтому добавляется член регуляризации, чтобы оштрафовать локальные области, которые не являются аффинными преобразованиями:
Генератор изображений цели (позы) G (см. схему структуры сети выше)
Входы и выходы, которые он получает, определяются следующим образом:
\
В соответствии с потоком w и f_t, f_s извлеките пару функциональных блоков для расчета внимания:
Конкретный метод расчета: \
\
Стоит отметить, что не все содержимое целевого изображения может быть найдено из-за некоторой окклюзии и движения исходного изображения позы. Чтобы дополнить генератор целевого изображения G для создания нового контента, маска m окклюзии (от 0 до 1) играет роль выбора признаков. Метод обработки и остаточная функция потерь приведены ниже:
Конкретная схема всей сетевой структуры:
Набор данных и критерии оценки:
Детали реализации:
Некоторые экспериментальные результаты:
\
Другие задачи:
Публичный аккаунт недавно рекомендовал прочитать:
GAN существует уже 6 лет! Пришло время для инсульта!
Обзор руководства для начинающих | Слишком много моделей GAN, не знаете, какую выбрать?\
Были загружены сотни документов GAN! С недавним обзором генеративно-состязательных сетей!
MSG-GAN CVPR2020: простая и эффективная SOTA\
Взгляните на ГАН тонкого знания сверхвысокого разрешения! С более чем 70 статей для загрузки!\
В небе дождь, а у меня его нет! Как насчет GAN для удаления дождя?\
Угасание! ГАН прогнозировать?\
Надежные данные — это сложно! Как насчет SSL (полуконтролируемое обучение) в сочетании с GAN?\
Руошуй три тысячи, только бери свою отметку! Как насчет AL (активного обучения) в сочетании с GAN?\
Обнаружение аномалий, как работает GAN?
Виртуальная переодевание! Взгляните на то, что делают эти последние газеты!\
Миграция макияжа лица! Краткий обзор нескольких статей с использованием GAN
[1] Как насчет генерации GAN на медицинских изображениях?
01-Краткий принцип формулы GAN - Маленькие сокровища в железной броне
GAN&CV группа обмена , будь вы новичок или большой парень, сердечно приглашаем вас присоединиться!\
Обсуждайте и общайтесь вместе! Нажмите и удерживайте заметку [Присоединиться к группе], чтобы присоединиться:
Чтобы больше поделиться, нажмите и удерживайте, чтобы подписаться на эту официальную учетную запись:\