Резюме

Оценка резкости изображения является важной частью оценки качества изображения, что имеет большое значение для таких приложений, как автофокусировка, сжатие изображений и извлечение обложек видео. В настоящее время оценку резкости изображения можно разделить на оценку резкости эталонного изображения и оценку резкости эталонного изображения [1].

Для оценки резкости без эталона в литературе [2] предложен метод оценки, основанный на гистограмме ширины сильного края, который может лучше оценить резкость изображений с размытием расфокусировки и небольшим размытием движения, но не может точно оценить низкое отношение сигнала к -коэффициент шума и низкое отношение сигнал/шум.Более размытые изображения при движении. В [3] предложен метод обнаружения размытия в движении, основанный на наименьшей направленной высокочастотной энергии, который может лучше обнаруживать размытие в движении на изображениях, но не может обрабатывать изображения без размытия в движении.

Эта статья ссылается на литературу [2] и литературу [3] и предлагает индекс оценки, «основанный на статистике достоверности сильного края», который можно использовать для оценки четкости изображений с различным содержанием и различными типами размытия.

нечеткий тип

Понимание четкости изображения можно рассматривать как понимание размытия изображения, чем более размыто, тем менее четко. Размытость изображения может быть вызвана многими причинами: расфокусировкой, размытостью движения, шумом, искажением и т. д.

В настоящее время соответствующие работы и исследования были выполнены в литературе [2] и литературе [3] соответственно для размытия дефокусировки и размытия движения. Это «Индекс четкости изображения, основанный на гистограмме ширины сильного края» и «Обнаружение размытия движения на основе наименьшей направленной высокочастотной энергии».

Оценка размытия боке

В [2] предлагается метод «индекса резкости изображения на основе гистограммы ширины сильных краев». Этот метод сначала использует оператор Собеля для обнаружения краев, затем подсчитывает ширину краев на этих краях, устанавливает гистограмму и, наконец, вычисляет оценочное значение. .

Этот метод хорошо работает для изображений с высоким отношением сигнал/шум, но не может быть применен к изображениям с низким отношением сигнал/шум, поскольку обнаруженный в это время край может не быть краем реального объекта. Например, для изображений с сильным размытием в движении обнаруженные края часто представляют собой «смазывание», вызванное движением.

Мы используем этот метод оценки, чтобы проверить, насколько хорошо метод оценивает размытие расфокусировки и размытие движения:

(Чем меньше значение оценки горизонтального градиента/оценки вертикального градиента, тем выше качество)

Как показано на рисунке выше, для размытого изображения движения из-за сильного размытия движения обнаружение края не может обнаружить реальный край, поэтому результат оценки этого метода лучше, чем размытие расфокусировки (чем меньше значение оценки, тем более четкое представление). Но наше субъективное ощущение, очевидно, заключается в том, что расфокусированные и размытые изображения относительно «четче».

Обнаружение размытия движения

В [3] предложен метод «Обнаружение размытия в движении на основе высокочастотной энергии в наименьшем направлении», который может обнаруживать направление минимального градиента в небольшом блоке. Этот метод может дать направление движения для изображений с явным «размытием движения», но также выводит вводящие в заблуждение результаты для изображений без размытия движения.

Метод оценки, основанный на «статистике достоверности сильного края».

Проблема с методом, основанным на сильной статистике ширины края, заключается в том, что, когда на изображении есть некоторое (или все) сильное размытие движения, часть размытия движения не может выделить краевые точки, а иногда даже «перетаскивание», вызванное размытием движения. можно извлечь пленку". В настоящее время эти краевые точки эквивалентны"Недействителен".

Если мы сможем определить"эффективность", то когда «эффективность» больше определенного порога, мы можем использовать в качестве основы оценки показатели сильной статистики ширины края, а когда «эффективность» недостаточна, напрямую использовать «эффективность» как качество изображения. -зернистая оценка.

Определение «пограничной валидности»

Мы определяем «эффективность» как:Отношение «максимальной суммы направленных градиентов» к «квадрату числа сильных краевых точек» в области.

Среди них максимальная сумма направленных градиентов: вдоль определенного направления в регионе, в этом направлении сумма градиентов блока является максимальной

Мы делим изображение на несколько блоков области.После обнаружения края предполагается, что первый блок содержит 10 точек края, и в этой области очень мало информации об изображении (максимальная сумма направленного градиента), а второй блок имеет 5 краев. точка, и информация об изображении в этой области очень богата, то мы можем думать, что краевые точки во второй области более эффективны, чем в первой области.

Предположим, мы извлекли много «краевых точек» в области размытия движения, поскольку в этих областях мало информации о градиенте, эффективность вычислений будет очень низкой.

Расчет «краевой эффективности»

Используя метод расчета регионального градиента в литературе [3], можно получить направление минимального градиента в небольшом блоке, а направление, перпендикулярное этому направлению, является «направлением максимального градиента». В то же время можно быстро рассчитать «максимальную сумму направленных градиентов».

Вывод конкретной формулы здесь повторяться не будет, мы рассмотрим только ключевые формулы, которые мы используем:

Где d11 — квадрат градиента в направлении x, d22 — квадрат градиента в направлении y, а d12 — градиент в направлении x, умноженный на градиент в направлении y.

Ключевая формула для расчета максимального (или минимального) направленного уклона:

а также

где n — целое положительное число, ииСреди них k, соответствующий меньшему, является направлением движения, а больший - направлением движения с максимальным градиентом области.

С помощью приведенных выше формул мы можем быстро вычислить максимальную сумму направленного градиента в определенной области.

Таким образом, наш процесс расчета «пограничной достоверности» выглядит следующим образом:

Статистика блока "пограничная валидность"

По показателю валидности краевой точки блока можно подсчитать количество различных зон валидности на картинке, чем больше доля блоков с высокой валидностью в картинке, тем четче описание, и наоборот.

После тестирования распределения значений достоверности изображений разного качества мы делим значение в соответствии с интервалами 0~100, 100~250, 250~500, 500~1000 и 1000~2000. Считаем количество блоков в этих интервалах отдельно, и вычисляем отношение этих блоков к общему количеству блоков.

(внизу: разные цвета обозначают разные интервалы действия)

Из приведенного выше «соотношения интервалов эффективности» видно, что первая четкая картинка имеет наибольшую долю блоков с достоверностью 2000, достигающую 0,13; говорят, что она ближе к диапазону низких значений; а последняя с размытие в движении ближе к диапазону низких значений, чем второе.

Исходя из этого, мы можем судить, что по «верности точки сильного края» первый лист > второй лист > третий лист.

Разделение класса качества

С помощью вышеупомянутой статистики распределения эффективности мы можем установить некоторые пороговые значения, и в соответствии с этими пороговыми значениями качество изображения сначала грубо делится на различные категории, такие как ВЫСОКОЕ, СРЕДНЕЕ и НИЗКОЕ. Когда качество ВЫСОКОЕ, мы используем метрики из [2] для дальнейшей детальной оценки изображения. Для тех, чье качество ниже ВЫСОКОГО, в качестве основы для подсчета очков непосредственно используется общий уровень качества.

Вышеприведенные результаты сравнения: оценки качества двух слева - ВЫСОКИЕ для крупного зерна, а два справа - СРЕДНИЕ, что соответствует фактической ситуации. Для первого и второго листов, из-за более высоких оценок качества, мы можем дополнительно сравнить их значения оценки по методу оценки из литературы [2]: 4,759 и 4,874, так что мы можем получить окончательные результаты оценки качества следующим образом. :

Качество изображения: 1-е > 2-е > (3-е и 4-е)

(Примечание: хотя третье и четвертое изображения являются СРЕДНИМИ, но, как вы можете видеть из предыдущего раздела, если вам нужно сравнить качество двух из них, вы также можете получить правильный результат в соответствии с «достоверностью»)

Эпилог

В этой статье представлен метод оценки резкости изображения без эталона, основанный на «статистике достоверности сильных краев», который можно использовать в таких сценах, как извлечение обложки видео. Этот метод может адаптироваться к размытию расфокусировки и размытию движения одновременно, что решает проблему однократного применения оригинального метода оценки. Здесь мы делаем это на основе традиционных методов обработки изображений.На самом деле, очень популярная в настоящее время сверточная нейронная сеть также может быть использована для решения этой проблемы.Как и структура Google NIMA, она может оценивать размытые и искаженные изображения, а также изображения. «Эстетика» оценивалась.

Кроме того, есть много методов, которые можно попробовать. Наш метод - это просто исследование оценки четкости изображения. Мы надеемся, что больше людей смогут общаться и обсуждать вместе. Мы также приглашаем людей с высокими идеалами присоединиться к технической команде Xianyu! Доставка резюме: guicai.gxy@alibaba-inc.com

Отсканируйте код, чтобы подписаться на общедоступную учетную запись [Xianyu Technology].

Ссылаться на

[1] SUM Yu, DUTHALERS, NELSON BJ. Autofocusing in computer microscopy:selecting the optimal focus algorithm [J]. Microscoppy Research and Technique, 2004,65:139-149

[2] Zhang Tianyu, Feng Huajun, Xu Zhihai, Li Qi, Chen Yueting Индекс резкости изображения на основе гистограммы ширины сильного края [J] Журнал Чжэцзянского университета (технические науки) 2014, 48-2, 312-320

[3] Xiaogang Chen, Jie Yang, Qiang Wu, Jiajia Zhao. MOTION BLUR DETECTION BASED ON LOWEST DIRECTIONAL HIGH-FREQUENCY ENERGY [C]. Proceedings of 2010 IEEE 17th International Conference on Image Processing, September 26-29, 2010, Hong Kong