Vision — это основанный на обработке изображений алгоритм, разработанный на основе инженерной практики и практических нужд. Vision может выполнять сравнение изображений, активную обработку всплывающих окон и интеллектуальную обработку проблем сцены.Эта статья в основном представляет приложение в сценах сравнения изображений.
слияние пространства изображения
Содержимое страницы мобильного приложения является непрерывным в пространстве, мы просматриваем разные части содержимого, «пролистывая» экран машины, но скриншот машины — это отображаемое содержимое текущего экрана. чтобы получитьОбщее содержание страницыShow, мы сохраняем серию скриншотов страницы, связанных с временными рядами, посредством повторяющейся операции «скриншот-пролистывание-скриншот», а затем используем алгоритм пространственного слияния для формирования полного изображения. Основные этапы работы алгоритма:
1. Настройте два параметра, параметр сдвига a иROIпараметр б
2. Используйте параметр a, чтобы вырезать первое изображение в том порядке, в котором сохраняются скриншоты страницы, и сохранить верхнюю часть
3. Начиная с нижней части зарезервированной части, используйте параметр b для получения изображения области интереса.
4. Используйте изображение области интереса в качестве шаблона и используйте алгоритм сопоставления шаблонов, чтобы получить точку склеивания второго изображения.
5. Используйте зарезервированную часть первого изображения и точку соединения второго изображения для слияния, чтобы сформировать новое изображение в качестве первого изображения для следующего расчета.
6. Циклическая операция для получения полного пространственно слитного изображения.
В практических приложениях на страницу могут влиять плавающие окна и потолочные компоненты.Мы отладили несколько наборов различных параметров для автоматической адаптации к бизнес-сценарию.
Сравнение изображений
Чтобы получить общее отображаемое изображение содержимого страницы приложения, мы можем использовать настроенное эталонное изображение для сравнения с текущим изображением. Распространенным алгоритмом сравнения изображений является попиксельное сравнение. Сравнение на основе пикселей работает, когда два сравниваемых изображения взяты из одного и того же источника и могут помечать различия на уровне пикселей. Однако в мобильной сцене изображения, участвующие в расчете сравнения, поступают из разных источников во времени, и положение пикселя колеблется при рендеринге графическим процессором и макете страницы мобильного телефона. Мы обнаружили, что два изображения после слияния часто имеют различия в положении содержимого, например добавление нового содержимого между последовательными идентичными изображениями. В бизнесе эта ситуация отражается в обновлении потребностей или добавлении соответствующих областей отображения. Обновление позиции содержимого сделает алгоритм сравнения пикселей недействительным, и нельзя будет ссылаться на информацию карты сравнения. (Как вы можете видеть на рисунке ниже, если используется традиционный алгоритм сравнения пикселей, даже если только область заголовка содержит больше информации о городе на двух изображениях, вся компоновка будет отмечена как разная, и нет возможности сфокусироваться. о реальном несоответствии)
Нам нужен алгоритм, который может отмечать различия, реагируя на обновления местоположения контента, поэтому мы разработали новый алгоритм добавочного сравнения изображений для применения в мобильных бизнес-сценариях. Его конструктивные особенности:
1. Представление изображений по строкам Hash-кодированные состояния
2. Процесс сравнения изображения преобразуется в процесс преобразования изображения 1 в изображение 2.
3. Добавьте фильтр после промежуточного результата, чтобы справиться с колебаниями количества строк.
Состояние представления изображения определяет, как оно вычисляется.Проблема с попиксельным представлением изображения заключается в том, что его представление изображения основано на пикселях, а информация о местоположении содержимого не связана друг с другом.Чтобы машина понять обновление местоположения контента до и после изображения, мы переопределяем представление изображения. Во-первых, извлечение признаков выполняется на изображении в единицах поведения, а эталонное среднее значение хэша выражается в виде двоичных значений.Это необходимо для вычисления и удаления информации о положении одного пикселя позже.Алгоритм может сравнивать два изображения на более высоком «высокоуровневом семантическом» уровне. Когда линейные характеристики двух изображений сопоставляются и вычисляются, двумерная информация становится одномерной, и для расчета могут использоваться алгоритмы одномерных данных. Поиск оптимального пути из левого верхнего угла в правый нижний угол в таблице состояний кодирования, сформированной путем вычисления ассоциации признаков строки, представляет собой процесс преобразования изображения 1 в изображение 2. Op в пути — это инкрементная часть двух изображений. . Оптимальный путь относится к минимальным операциям, необходимым для пути преобразования из изображения 1 в изображение 2.
Реализованный алгоритм сравнения может лучше обрабатывать распределение местоположения контента, отмечать добавочные части графика и не затрагивать одни и те же части контента.
Ссылки по теме
Алгоритм сравнения изображений на основе особенностей линий изображения:Vision-diff