QR-код слишком уродлив? Используйте передачу стиля для создания персонализированного QR-кода, чтобы понять

Статья выбрана из arXiv, автор: Mingliang Xu и др., составлена ​​сердцем машины

Благодаря постоянной популяризации Интернета и интеллектуальных мобильных устройств QR-код (Quick Response code) стал одним из наиболее широко используемых носителей информации в мире. Общий QR-код выглядит не очень хорошо, с монотонным черно-белым модулем кодирования, который не может быть распознан человеческим глазом. В последнее время визуальное оформление QR-кодов стало повальным увлечением в научных кругах и промышленности. Как показано на рисунке 1, современные методы можно разделить на четыре категории: i) встроенные [1]–[5], которые встраивают изображения для покрытия дополнительных битов в QR-коде, ii) тип деформации [5], который изменяет двумерная форма/цвет кодовых модулей, например, преобразование квадратов в круги, треугольники или звезды; iii) ручной тип [5], от ручного проектирования и рендеринга; iv) тип слияния [6]–[12], который объединяет изображения Введите QR-код. Среди них метод слияния имеет лучший визуальный эффект и самый привлекательный.

Рисунок 1: 4 существующих метода украшения QR-кодов.

Хотя существующие методы типа слияния могут улучшить визуальное качество QR-кодов, все еще необходимо улучшить следующие аспекты: (1) диверсификация и персонализация, основные методы генерируют искусство, выглядящее иначе, путем изменения изображения слияния; QR-коды, но на самом деле, пользователи хотят создавать разнообразные и персонализированные художественные QR-коды для уникальных изображений слияния (таких как логотипы, личные фотографии или товарные знаки и т. д.); (2) художественное качество, с одной стороны, определяется большинством методов «Красота» как «более похожее на слитое изображение», то есть идеальный результат состоит в том, что исходное изображение не является «антипредметным» по художественным элементам. С другой стороны, существующие QR-коды типа слияния обычно напрямую и механически объединяют изображение с модулем кодирования черно-белого изображения, что приводит к неизменному и монотонному внешнему виду модуля кодирования даже при красивом слиянии изображений (как показано на рис. 4(а)-(г)). (3) Надежность. Нелегко интегрировать художественные элементы в QR-коды без ущерба для читаемости. В большинстве существующих методов отсутствует механизм исправления ошибок для обеспечения надежности результатов, что приводит к неправильному декодированию QR-кодов.

Рисунок 2: (a)(b) Метод, представленный в этой статье, может непосредственно украсить базовый художественный QR-код и сгенерировать художественный QR-код. (c)(d) Если для получения результатов в художественном стиле используются традиционные методы типа слияния, необходимо сочетать эстетически приятные изображения и модули кодирования черно-белого изображения. Но в основном результаты (c) (d) по-прежнему классифицируются как базовые художественные QR-коды, которые, хотя и включают художественные изображения, все же не являются истинными художественными QR-кодами. По сравнению с этапами (c)(d) наш метод имеет два преимущества: (1) Он сокращает этапы генерации. (2) Дальнейшая унификация модуля и объединенного изображения в один стиль для повышения визуальной привлекательности (рис. 4(e)-(l)).

Решение этих проблем без ущерба для других функций является большой проблемой. К счастью, с сетями передачи на основе CNN мы нашли эффективное решение. В этой статье предлагается метод автоматического создания надежных QR-кодов в художественном стиле — SEE QR Code. Для задачи (1), как показано на рисунке 3, наш QR-код SEE представляет собой стильно-ориентированный художественный QR-код, и пользователи могут генерировать QR-коды с несколькими художественными стилями, встраивая одно изображение. Таким образом, пользователи могут персонализировать свой выбор в соответствии со своими предпочтениями и потребностями. Для задачи (2) наш QR-код SEE следует называть произведением искусства, а не просто стилизацией исходного изображения; кроме того, метод может напрямую стилизовать базовый художественный QR-код (как показано на рисунке 2(a)(b). )), которые могут придавать художественные элементы как модулю кодирования, так и объединенному изображению для повышения их визуальной привлекательности (см. рис. 4(e)–(l)). Для проблемы (3) мы разрабатываем механизм исправления ошибок для количественной оценки и балансировки двух конкурирующих элементов, визуального качества и удобочитаемости, что приводит к надежным результатам.

Рисунок 3: Некоторые примеры QR-кодов SEE, которые выглядят как произведения искусства, и пользователи могут создавать украшенные изображения в различных художественных стилях из одного фонового изображения.

Рисунок 4: (a)-(d) Модули кодирования среди результатов традиционного метода (см. Рисунок 2). (e)-(l) Модули кодирования в результатах нашего метода. Видно, что модуль кодирования в коде SEE QR также имеет привлекательные художественные элементы.

Вышеупомянутая существующая работа фокусируется только на первом этапе улучшения QR-кода, то есть на создании эстетичных QR-кодов путем изменения карты встраивания (см. рис. 2 (a) (d)). Напротив, наш метод в основном украшает базовую эстетику QR-кодов (см. рис. 2(b)). Подводя итог, можно сказать, что наши основные вклады:

Архитектура всей системы показана ниже.На этапе A мы объединяем изображения и QR-коды с закодированной информацией для создания художественных QR-кодов. Затем объедините стиль, который необходимо перенести, с ранее сгенерированным художественным QR-кодом и выполните исправление ошибок с извлеченным информационным кодом на этапе C, чтобы повысить надежность декодирования.

Рисунок 6: Обзор метода. Он состоит из трех шагов: Этап A: Создание художественного QR-кода, Этап B: Перенос стиля, Этап C: Исправление ошибок.

Различные этапы и экспериментальные результаты системы будут кратко представлены позже, поэтому нам необходимо понять значения символов, описанных в таблице 1:

А. ОБЗОР МЕТОДОЛОГИИ

Как показано на рисунке 6, наш метод разделен на три этапа: этап A, этап B и этап C. На этапе A мы создаем оптимизированный художественный QR-код Q_a. На этапе B мы стилизуем Q_a, используя настроенную нейронную сеть передачи стиля, и выводим ненадежный QR-код художественного стиля Q_b. Наконец, на этапе C мы исправим читабельность Q_b с помощью механизма исправления ошибок, чтобы получить надежный результат Q_c. Три основных шага описаны ниже.

Рисунок 7: Блок-схема этапа A. Мы расставляем приоритеты переменных модулей в соответствии с распределением оттенков серого объединенного изображения, чтобы минимизировать визуальный контраст между объединенным изображением и шумоподобными черно-белыми модулями, и, наконец, выводим базовый художественный QR-код Q_a.

Двумерный код основан на правилах кодирования кодов исправления ошибок РС и выражается в виде квадратного модуля кодирования. В [13] было показано, что мы можем использовать исключение Гаусса-Жордана для изменения цвета модуля (т. е. черного или белого) в ограниченном диапазоне, независимо от машиночитаемости. Основные исследования ([7][8][10]) обычно используют метод из [13] для выбора переменных модулей путем рассмотрения локальных визуальных особенностей объединенного изображения (таких как карты заметности, карты краев или интересующие области). На этапе A мы предлагаем эффективную стратегию для определения приоритетов переменных модулей, т. е. выбор на основе глобальных характеристик гибридного изображения I и, наконец, вывод QR-кода базового искусства Q_a, который минимизирует изображение I и шумоподобный черно-белый. Визуальный контраст между модулями.

Что касается оттенков серого объединенного изображения I^g, значение оттенков серого каждого пикселя находится в интервале [0, 255], а значения оттенков серого черного и белого модулей являются постоянными значениями 0 и 255 соответственно. . Поэтому мы считаем, что визуальный контраст минимален, когда цвет модуля наиболее близок к соответствующей области на изображении I. То есть присвоение больших весов областям самого черного/самого белого цвета на изображении I, чтобы они соответствовали модулям черного и белого, значительно оптимизирует визуальное восприятие Q_a. Исходя из этого, разделим этап А на два шага: вычисление матрицы весов и слияние изображений.

Архитектура передачи стиля, используемая в этой статье, показана на рисунке 8 ниже, и мы грубо используем структуру, предложенную J. Johnson [16] et al. Для передачи стиля мы вводим целевое изображение a_c и изображение стиля a_s, которым необходимо передать стиль, а на выходе шляпа должна сочетать содержимое a_c и особенности стиля a_s.

Рисунок 8: Блок-схема этапа B. Мы примерно следуем системе передачи стиля, предложенной в [16], и дополнительно корректируем слои реконструкции контента и особенности сети потерь φ, чтобы черно-белые квадраты, такие как шум, больше не использовались для улучшения стиля и эстетики QR-кодов.

На этапе B базовый QR-код искусства Q_a имеет очень плотный модуль черно-белого кодирования в качестве содержимого, которое необходимо передать, поэтому нам необходимо решить две проблемы: 1) для большей надежности сгенерированный номер модуля ошибки должен быть быть сведена к минимуму; 2) для визуального качества очень важно избегать визуального воздействия шумоподобных модулей. Поэтому, чтобы решить эти две проблемы, мы дополнительно изменили сетевые архитектуры, такие как уровень реконструкции контента и уровень реконструкции стиля, следующим образом:

Рисунок 9: Подобно структуре, предложенной Л. Гэтисом [14] и Дж. Джонсоном [16] и др., мы реконструируем признаки стиля из предварительно обученной сети потерь VGG-16, которые представляют слои relu1_2, relu2_2, relu3_3 и relu4_3. , соответственно, результаты реконструкции функции стиля. Кроме того, мы обнаруживаем, что реконструированные особенности стиля нижних слоев очень похожи на модули плотного кодирования художественных QR-кодов.

Таблица 2: Настройка слоев реконструкции признаков.

Хотя мы значительно оптимизируем слабороботную задачу на этапе B, тем не менее, в Q_b остается небольшое количество модулей-ошибок. Поэтому на этапе C мы разрабатываем механизм исправления ошибок для обнаружения и исправления модуля ошибок Q_b, уравновешивая надежность и визуальное качество для получения надежного результата Q_c.

Оценка надежности модулей B-кодирования

Рисунок 10: (a) На этапе выборки на собранные пиксели могут влиять факторы, которые не связаны напрямую (например, масштаб изображения, угол наклона и т. д.), что приводит к ошибкам, тогда как существенным фактором является размер кодирования. модуль. (b) На этапе пороговой обработки выбранные пиксели могут быть неправильно пороговыми факторами, которые не связаны напрямую (например, освещение, цвет света и т. д.), в то время как существенным фактором является цвет модуля кодирования.

C Механизм исправления ошибок

Рисунок 11: Блок-схема этапа C. (a) Итеративно обнаруживает, исправляет ненадежные модули и обновляет пороговое значение до тех пор, пока каждый модуль не станет надежным. (b) Предварительно обработать ненадежные модули, создав кодовые точки. (c) Преобразование QR-кода в строгом художественном стиле в оттенках серого в пространство RGB.

Рисунок 12: (a) Конкретные шаги на рисунке 11(b), предварительная обработка ненадежного модуля в Q_b, где локальный средний цвет вычисляется простым методом как цвет C_k. (b) Конкретные шаги по исправлению ненадежного модуля кодирования в оттенках серого. (c) Q_c создан без обработки на этапе (a), т. е. точки коррекции в Q_c могут иметь серьезные визуальные искажения.

Рисунок 13: Некоторые примеры обоих локаторов. Один — стандартный локатор, состоящий из черного и белого, а другой — цветной локатор после переноса стиля и исправления ошибок.

Рисунок 14. Сравнение экспериментальных результатов для Q_a и TS (на основе результатов двухэтапной генерации в [10]). Наши результаты сосредоточены на общих характеристиках фонового изображения I, и модуль черно-белого кодирования пытается назначить более темные/светлые области изображения I, чтобы минимизировать визуальный контраст между модулем и изображением I.

Рисунок 17: Система переноса исходного стиля [16] и наши скорректированные результаты. В результате первоначального переноса стиля обычно возникают неравномерные изменения цвета в больших областях, которые очень мешают визуальному восприятию и могут легко привести к ошибкам декодирования. Наши корректировки значительно улучшают надежность декодирования и проблемы с визуальным качеством.

Таблица 4: Показатели успешного сканирования QR-кода на разных мобильных устройствах.

Диссертация: Стилизация эстетического QR-кода

Ссылка на бумагу:АР Вест V.org/PDF/1803.01…

Аннотация: С непрерывным развитием интеллектуальных мобильных устройств использование двумерных кодов становится все более обширным. Существующие исследовательские попытки улучшить внешний вид QR-кодов и ряд связанных с ними технологий были разработаны. Тем не менее, в этих исследованиях еще есть много возможностей для улучшения, таких как визуальное разнообразие, эстетическое качество, гибкость, универсальность и надежность. Чтобы решить эти проблемы, в этой статье предлагается новый метод украшения QR-кодов, SEE (Stylize aEsthEtic), который может автоматически генерировать надежные QR-коды художественного стиля всего за три шага. В частности, в качестве первого шага мы предлагаем метод создания оптимизированных базовых художественных QR-кодов, которые уменьшают визуальный контраст между шумоподобными черно-белыми модулями и слитными изображениями. На втором этапе, чтобы получить QR-код художественного стиля, мы настраиваем подходящую нейронную сеть передачи стиля, чтобы добавить некоторые абстрактные художественные элементы к базовому художественному QR-коду. На третьем этапе мы разрабатываем механизм исправления ошибок, который обеспечивает надежную работу, уравновешивая два из этих двух конкурирующих элементов: визуальное качество и удобочитаемость. Обширные эксперименты доказывают, что QR-коды SEE сохраняют высокое качество с точки зрения внешнего вида и надежности, предоставляя пользователям больше возможностей для персонализации.