Нажмите выше"Машинное обучение и генеративно-состязательные сети", обратите внимание на "звездочку"
Получите удовольствие, удовольствие, передовые галантерейные товары!
Сегодня я поделюсь статьей о работе гонконгской китайской группы учителей Чжоу Болей.
Image Processing Using Multi-Code GAN Prior
А. Р. Уэст В. Мытый Search.top/PDF/1912.07…
Хотя генеративно-состязательные сети (GAN) добились больших успехов в создании изображений,Обученная модель GANЭто все еще сложно применить к реальным задачам обработки изображений. В неконтролируемых GAN генератор обычно преобразует скрытое пространствоZ сопоставляется с изображением пространства изображения, то есть реальное изображение взять на вход неоткуда, из-за чего обученная модель плохо работаетПоследующая обработка изображения.
чтобыОбученный ГАНМожет использоваться для обработки изображений, существующие методы пытаются сопоставить изображение со скрытым пространством путем повторного обратного распространения (нахождения подходящего Z) или добавления дополнительного кодировщика. Но в большинстве случаев реконструкция обоих не идеальна.
В этой работе предлагается новый метод обратного отображения (изображение-> Z), использующий обученный GAN в качестве эффективного перед выполнением различных задач обработки изображений. В частности, учитывая модель GAN, которую необходимо обратно отобразить, используйте несколько скрытых кодов Z, чтобы использовать модель GAN для создания нескольких карт объектов (сопоставленных с промежуточным слоем генератора), а затем вычислить их коэффициенты важности. Окончательную комбинацию и сгенерировать целевой образ. Этот многопараметрический метод обучения скрытому коду Z может значительно улучшить качество реконструкции изображения. А высококачественная реконструкция изображения может сделать обученный GAN заранее применимым ко многим реальным приложениям, таким как: раскрашивание изображений, сверхвысокое разрешение, рисование изображений, редактирование манипулирования семантическими объектами изображений и т. д. В то же время в документе дополнительно анализируются свойства представления каждого слоя в обученной модели, чтобы объяснить знания, которые может представлять каждый слой.
1. Инверсия ГАН
Неконтролируемая, обученная GAN может синтезировать высококачественные изображения путем выборки из скрытого пространства Z, то есть Z->изображение. Так называемое обратное отображение GAN относится к поиску подходящего Z для восстановления целевого изображения, то есть image->Z (Z — это параметр, который необходимо оптимизировать в настоящее время).
2. Комбинация функций
Автор считает, что одному скрытому коду настолько сложно восстановить все детали реконструированного целевого изображения, поэтому ожидается, что с помощью нескольких кодов они смогут более комплексно реконструировать более подробные части (уточнять сложные задачи, разделяй и властвуй). ). Так называемые множественные скрытые коды, представленные в этой статье, как объединить их вместе для оптимизации, являются ключевым вопросом.
Авторский метод состоит в том, чтобы «разделить» генератор на две части, G1 и G2, где L — это выход функции среднего слоя, и предлагается «важность адаптивного канала» (Adaptive Channel Importance) сделать реконструкцию после слияния.
3. Цели оптимизации
Окончательная вся структура состоит в том, чтобы решить Z и α
Потеря реконструкции использует расстояние потери восприятия MSE и VGG:
4. Применение задач обработки изображений
раскрасить изображение
Для переоценки изображения
для раскрашивания изображений
5. Представление знаний в GAN
Четыре набора данных лица, церкви, конференц-зала и спальни используются для предварительного обучения PGGAN и используют его в качестве априорного. При использовании одного скрытого кода для реконструкции трудно «покрыть априорное», и результат покажет содержимое изображения исходного обучающего набора, но целевое изображение не может быть восстановлено.
в заключении
В этой статье предлагается новый метод обратного отображения GAN. Основанный на предварительно обученной неконтролируемой GAN, метод использует несколько скрытых кодов для восстановления целевого изображения. Эксперименты показывают, что этот метод может эффективно использовать предварительно обученные GAN для различных задач обработки изображений.
Публичный аккаунт недавно рекомендовал прочитать:
GAN существует уже 6 лет! Пришло время для инсульта!
Обзор руководства для начинающих | Слишком много моделей GAN, не знаете, какую выбрать?\
Были загружены сотни документов GAN! С недавним обзором генеративно-состязательных сетей!
MSG-GAN CVPR2020: простая и эффективная SOTA\
Преобразование позы CVPR2020 GAN: кто может разделить изображение?\
Полмесяца в марте, чем занимается GAN в последнее время?\
Взгляните на ГАН тонкого знания сверхвысокого разрешения! С более чем 70 статей для загрузки!\
В небе дождь, а у меня его нет! Как насчет GAN для удаления дождя?\
Угасание! ГАН прогнозировать?\
Надежные данные — это сложно! Как насчет SSL (полуконтролируемое обучение) в сочетании с GAN?\
Руошуй три тысячи, только бери свою отметку! Как насчет AL (активного обучения) в сочетании с GAN?\
Обнаружение аномалий, как работает GAN?
Виртуальная переодевание! Взгляните на то, что делают эти последние газеты!\
Миграция макияжа лица! Краткий обзор нескольких статей с использованием GAN
[1] Как насчет генерации GAN на медицинских изображениях?
01-Краткий принцип формулы GAN - Маленькие сокровища в железной броне
GAN&CV группа обмена , будь вы новичок или большой парень, сердечно приглашаем вас присоединиться!\
Обсуждайте и общайтесь вместе! Нажмите и удерживайте заметку [Присоединиться к группе], чтобы присоединиться:
Чтобы больше поделиться, нажмите и удерживайте, чтобы подписаться на эту официальную учетную запись:\