Документ по оценке качества изображения | Deep-IQA | IEEETIP2018

• Название статьи: «Глубокие нейронные сети для оценки качества изображения без эталона и с полным эталоном»
• Ссылка на бумагу:АР Вест V.org/PDF/1612.01…

0 Обзор

Эта статья и ранг-IQA из предыдущей статьи чувствуют, что они являются хорошей основой для решения задач NR-IQA.Давайте узнаем суть этой статьи.

1 related work

В соответствующей работе этой статьи перечислены многие предыдущие модели NR-IQA:

• 【18】
  • DIIVINE: сначала определите тип искажения изображения, а затем выберите соответствующий тип регрессионной модели, чтобы получить конкретную оценку качества;
• 【20】
  • BRISQUE: Моделирование изображения в пространственной области с использованием асимметричного обобщенного гауссовского распределения, а особенностью модели является разница между пространственными окрестностями;
• 【двадцать один】
  • NIQE: извлечение признаков с использованием многомерной модели Гаусса, а затем объединение их с массовыми распределениями с использованием неконтролируемых методов;
• 【двадцать два】
  • FRQUEE: введите извлеченную вручную карту объектов в 4-слойную сеть глубокого доверия, выведите вектор признаков и используйте SVM для классификации;
• 【24】
  • CORNIA: одна из первых моделей для решения проблемы NR-IQA с использованием чистого накопителя данных, кластеризации k-средних для обработки фрагментов изображения с нормализованной яркостью и контрастностью, а затем извлечения мягко закодированных расстояний из данных для прогнозирования показателей качества;
• 【28】
  • BIECOM: на первом этапе локальная оценка качества оценивается CNN с использованием стандартного патча изображения (эта модель предварительно обучена с использованием существующего набора данных FR), а затем среднее значение и дисперсия оценки используются в качестве обзора функций. счет;

Не говоря уже о том, что после долгого чтения многие из них представляют собой очень старые методы искусственных признаков, которые не очень хороши, не очень хороши.

1 Детали

1.1 FR-IQA

В документе также используется та же модель, что и в предыдущей статье rank-IQA, двойная сеть saimese net, а модельная структура FR-IQA впервые предлагается в документе:В этом фреймворке патч вызывает образ 32x32, а затем экстрактор признаков использует VGG19, который содержит 5 слоёв maxpool, то есть после экстрактора признаков признаки станут (512, 1, 1) вот такой формы.

Для проблемы FR-IQA эталонный патч и искаженный патч получают два вектора 512 через экстрактор признаков, а затем используют concat, чтобы сшить их вместе на этапе слияния.В дополнение к этим двум, разница между двумя векторами признаков составляет тоже сшиты.Явно рассматривайте разницу между двумя функциями как функцию, вкратце это выглядит так:$concat(f_r,f_d,f_r-f_d)$

За вектором признаков слияния есть две части: одна — регрессия, а другая — веса.Как получить показатель качества всего изображения из множества патчей, автор приводит два метода:Этот патч представляет собой неперекрывающийся образец изображения.

1. Простое среднее.

Для этого метода усреднения все патчи оказывают одинаковое влияние на все изображение, поэтому функция потерь также определяет MAE:

2. Средневзвешенное.

Как показано в структуре рисунка выше, после объединения признаков выполняется регрессия, и после вывода показателя качества исправления в другой ветви выводится весовой показатель исправления во всем изображении. Параметр веса гарантированно больше 0.

1.2 NR-IQA

Это просто удалить ссылку, а затем не делать слияние функций.

2 Резюме

Это базовая структура и идея использования CNN для обработки оценки качества. Это хорошая основа для вводного обучения.