О мудрости
Компиляция | Бинг
Источник | hi.cs.waseda
Недавно исследователи из японского университета Васэда использовали нейронные сети для создания метода заполнения отсутствующих изображений, независимо от высокого или низкого разрешения изображения и независимо от формы отсутствующего изображения, машина может гарантировать глобальную и локальную согласованность, которая выглядит «бесшовный».
Чтобы обучить эту сеть исправлений на согласованность, исследователи использовали глобальные и локальные дискриминационные модели, обученные различать исходные и исправленные изображения. Глобальный дискриминатор оценивает согласованность, просматривая все изображение, в то время как локальный дискриминатор отвечает только за исправление области, чтобы обеспечить согласованность в этой небольшой части. Затем сеть была дополнительно обучена, чтобы обмануть две сети контекстуального дискриминатора, требуя от нее создания изображений, которые были бы неотличимы от реальных изображений с точки зрения как полноты, так и детализации. Результаты показывают, что этот метод применим к любому сценарию. Кроме того, по сравнению с алгоритмами поиска на основе исправлений ближайшего соседа, такими как PatchMatch, этот подход не приводит к тому, что исправленное изображение появляется где-либо еще, что позволяет применять его к изображениям с очень специфическими структурами, такими как уменьшение лиц.
▍ Введение
Завершение изображения — это метод заполнения целевой области альтернативным содержимым, то есть удаление нежелательных объектов или перекрытие части для трехмерной реконструкции на основе изображения. Хотя родственные методы были созданы ранее, например, синтез изображений на основе патчей, они не идеальны. Потому что это часто требует расширенного распознавания сцены. Необходимо не только полностью восстановить рисунок, но и понять структуру и объекты всей сцены. Таким образом, мы реконструируем изображение как из глобальной, так и из локальной части.
▍ экспериментальный метод
Этот эксперимент основан на глубокой сверточной нейронной сети, а вся структура состоит из трех частей: сети для завершения изображения, сети дискриминатора глобального контекста и сети локального дискриминатора. Последние два делают изображение более реалистичным. Во время обучения две сети дискриминатора используются для завершения изображений, а оставшаяся нейронная сеть используется для их обмана. Только при совместном обучении эти три сети легко справляются с различными стилями изображений. На следующем рисунке показана базовая структура модели:
Завершение сети
Сеть завершения изображений основана на полностью сверточной сети, и ее базовую архитектуру можно увидеть в таблице ниже.
Сеть вводит изображения RGB из двух каналов и выводит изображения RGB. Чтобы гарантировать, что в других местах не произойдет никаких изменений, выходные пиксели за пределами области, которую необходимо завершить, будут восстановлены до входных значений RGB. Общая архитектура соответствует архитектуре кодировщика, способного уменьшать разрешение перед дальнейшей обработкой изображения, тем самым сокращая использование памяти и время вычислений.
контекстный дискриминатор
Сеть дискриминатора глобального контекста и сеть дискриминатора локального контекста используются для определения того, завершено ли изображение. Обе эти сети основаны на сверточных нейронных сетях, которые могут сжимать изображения в более мелкие векторы признаков. Выходные результаты объединяются через уровень соединения, который прогнозирует непрерывное значение вероятности того, является ли изображение реальным или нет.
Дискриминатор глобального контекста изменяет масштаб всего изображения до 256x256 пикселей перед вводом изображения. Он состоит из 6 сверточных слоев и одного полносвязного слоя с выходной размерностью 1024. Все сверточные слои имеют шаг 2x2 для уменьшения разрешения изображения при увеличении выходного сигнала фильтра. В отличие от сетей завершения изображений, все свертки здесь используют ядра 5x5.
Шаблон дискриминатора локального контекста такой же, за исключением того, что его вход представляет собой фрагмент изображения размером 128x128 пикселей. Когда изображение неполное, патч выбирается случайным образом, потому что вокруг него нет полной картины. Поскольку начальное входное разрешение вдвое меньше, чем у глобального дискриминатора, первый слой глобального дискриминатора не нужен. Выходным результатом также является 1024-мерный вектор, представляющий завершенную локальную область.
Наконец, выходные данные глобального и локального дискриминаторов объединяются в 2048-мерный вектор, который после обработки слоем конкатенации выдает непрерывное значение. После вычисления S-функции диапазон этого значения находится между 0 и 1, что указывает на вероятность того, является ли изображение естественным или нет, а не на вероятность того, является ли оно полным.
▍ Экспериментальные результаты (рекомендуется увеличить)
удаление изображения
Восстановление сцены
восстановление лица
По сравнению с другими методами
На приведенном выше рисунке первая строка — это входное изображение, следующие строки — результаты, полученные разными моделями, а последняя строка — модель, использованная в этом эксперименте. Можно видеть, что хотя PatchMatch (2-я строка) и Image Melding (3-я строка) способны генерировать локально согласованные патчи, поскольку они извлекаются из других частей изображения, они не координируются как единое целое (например, часть дерева). ) парит в воздухе). Метод Патхака (строка 5) хорошо восстанавливает недостающие области, но следы настолько очевидны, что выглядят неестественно даже после нашей постобработки. Изображение, восстановленное методом этого эксперимента (последняя строка), является наиболее естественным.
нажмите ниже«Прочитай исходный текст»Вы можете просмотреть оригинал статьи.
Эта статья составлена Lunzhi, пожалуйста, свяжитесь с этим публичным аккаунтом для авторизации.