Введение в статью об итеративном удалении дождя с использованием LSTM

Этот отчет содержит две статьи одного и того же автора (Тяньцзиньский университет): «Прогрессивные сети дерейнинга изображений: лучшая и более простая базовая линия» и «Дерейнинг одиночного изображения с использованием двусторонней рекуррентной сети», первая из которых была опубликована в июне 2019 года. опубликовано в июне 2020 года.

Поэтому мы сначала представляем «Прогрессивные сети дерейнинга изображений: лучшая и простая базовая линия», опубликованную в июне 2019 года.

motivation

Автор считает, что в задаче удаления дождя часто встречаются алгоритмы, которые не могут полностью удалить дождь, и некоторые капли дождя останутся, и итеративное удаление дождя может устранить эту проблему.

Model

Как показано на рисунке выше, на рисунке (а) видно, что сеть выполнила Т итераций, в которых каждый вход представляет собой исходное изображение с дождем и изображение после предыдущего раунда удаления дождя. В процессе удаления дождя каждой сети ее сетевая структура показана на левом рисунке рисунка (а), которая состоит из обычных сверток.

На рисунке (b) отличие от рисунка (a) заключается в том, что добавлен модуль LSTM. Среди них — обратная передача информации в LSTM-модуле сети удаления дождя на разных итерациях.

В модуле LSTM $c^{t-1}$ и $h^{t-1}$ Карта функций, переданная из предыдущего раунда коротких соединений, $c^{t}$ и $h^{t}$ — это карта объектов, которая будет передана в следующий раунд. x^t и y^t являются входом и выходом LSTM в текущей сети.

Стоит отметить, что сеть накладывает ограничения на каждый выходной результат, то есть дает потери. И веса сети на каждом этапе одинаковы. Первый раунд дождя $c^{t-1}$ и $h^{t-1}$ инициализирован до 0

В статье в качестве функций потерь используются MSE и SSIM. Среди них MSE ограничивает только последний раунд, а SSIM ограничивает каждый раунд.

В статье указан цикл 6 раз, т.е. T=6 . Размер тренировочного изображения составляет 100*100, а размер пакета установлен на 18.

Эксперимент по абляции

В статье показана различная производительность для каждого номера итерации.

В статье установлено, что результаты семи итераций были немного хуже, чем результаты шести итераций.

В статье показана производительность использования ограничения SSIM на раунд.Общее количество раундов в сети равно 6, абсцисса представляет текущий раунд, а ордината представляет PSNR и SSIM:

Можно обнаружить, что добавление дополнительных ограничений в сеть может улучшить производительность сети в первых нескольких раундах, но в шестом раунде производительность лучше без ограничения первых нескольких раундов, что, я думаю, является результатом объединения целей. .

На основе предыдущей статьи автор дополнительно обновил сеть и предложил «Отключение одного изображения с использованием двусторонней рекуррентной сети».

Общая структура статьи такая же, как и в предыдущей статье, только LSTM изменен, LSTM изменен на BLSTM, а два модуля объединены, как показано на рисунке выше. Формула может быть выражена как:

в r^t для слоя дождя, x^t Чтобы избавиться от дождя,для исходного изображения дождя.

Идея оформления статьи такова:

Сеть может оценить результат удаления дождя и, конечно же, она также может оценить слой дождя.Исходное изображение дождя за вычетом слоя дождя может получить изображение дождя, а оценка остатка может уменьшить нагрузку на сцену реконструкции сети.
Однако оцениваемый каждый раз слой дождя может содержать часть структуры сцены, что приводит к потере деталей в изображении без обработки данных.
Таким образом, в статье используются описанные выше методы для надлежащего снижения нагрузки по удалению дождя при сохранении деталей удаления дождя.

В экспериментах сеть использует потери MSE и SSIM в каждом раунде, что отличается от предыдущей статьи.

Эксперимент по абляции

В статье показана разница между сетью предыдущей статьи и текущей статьи.Предыдущая сеть называется SRN, а текущая сеть называется BRN:

Видно, что эффект несколько улучшился.

Кроме того, поскольку параметры BRN выше, чем у SRN, показатели также в определенной степени улучшаются. В статье также приводится версия SRN+ для сравнения роли BRN.