Инструмент автоматизации пользовательского интерфейса на основе принципа распознавания изображений — начало работы с Airtest

один. задний план

1. Проблемы, с которыми сталкивается текущая автоматизация пользовательского интерфейса

1. Сложно использовать набор инструментов для автоматизации тестирования на мобильных устройствах, в Интернете и на настольных компьютерах.

2. Страница обновления версии сильно изменилась, а стоимость обслуживания автоматизированного скрипта высока.

3. Содержание изображения трудно проверить

2. решение

Использование метода распознавания изображений для замены традиционного метода координатного позиционирования для автоматизации проектирования пользовательского интерфейса.

два. Введение в автоматизацию Airtest

Airtest — это кроссплатформенный фреймворк для автоматизации тестирования пользовательского интерфейса, основанный на принципе распознавания изображений. Страница работы Airtest IDE показана на рисунке

1. преимущество

Основан на python, кроссплатформенный, может использоваться для автоматизации тестирования пользовательского интерфейса на мобильных, веб- и настольных устройствах, поддерживает Windows, ios, Android.

2. сочинение

Весь набор инструментов состоит из Airtest IDE, Airtest, Poco, Airlab.

• Airtest IDE: кроссплатформенный редактор автоматизации пользовательского интерфейса
• Airtest: кроссплатформенная среда тестирования пользовательского интерфейса на основе Python, основанная на принципе распознавания изображений.
• Poco: платформа автоматизации, основанная на поиске пространства пользовательского интерфейса.
• Airlab: сервис облачного тестирования NetEase Airtest

три. Строительство окружающей среды

1. Загрузка и установка AirtestIDE

1.1 Пользователи Windows

• В зависимости от того, является ли система 32-битной или 64-битной версией, загрузитеОфициальный сайтРазархивируйте соответствующий zip-пакет, чтобы получить папку AirtestIDE.
• Дважды щелкните AirtestIDE/AirtestIDE.exe, чтобы начать установку, и продолжайте нажимать «Далее».
• На некоторых машинах может не запускаться корректно из-за совместимости видеокарты, либо окно редактирования скрипта не редактируется.Выбрать режим совместимости можно в настройках режима совместимости вновь добавленного IDE в версии 1.2.3 и перезапустите IDE. По умолчанию IDE запустится в режиме совместимости
• Дважды щелкните значок, чтобы запустить

1.2Пользователи MacOS

• существуетОфициальный сайтПосле загрузки AirtestIDE.dmg дважды щелкните его, чтобы распаковать, и перетащите AirtestIDE.app в папку приложения.
• Когда вы запускаете его в первый раз, может возникнуть проблема с воспоминанием, и его можно использовать в обычном режиме, когда вы запускаете его снова.

2. Введение в интерфейс

• Панель навигации: в основном управление файлами сценариев и настройками IDE.
• Вспомогательное окно Airtest: Вы можете быстро вставить часть кода операции
• Вспомогательное окно Poco: вы можете увидеть нативную структуру пользовательского интерфейса и другую информацию.
• Селеновое окно: Используйте то же, что и вспомогательное окно Airtest, вы можете быстро вставить часть кода операции
• окно редактирования скрипта: где происходит редактирование кода
• Окно просмотра журнала: Вы можете просмотреть информацию журнала при запуске скрипта, вы можете просмотреть информацию об элементе позиционирования или элементе управления.
• Окно устройства: вы можете просматривать информацию об устройстве, устройствах управления и т. д., которые можно разделить на четыре части: подключение к мобильному устройству, подключение к удаленному устройству, подключение к окну Windows и подключение к устройству ios.

3. Подключить устройство

3.1 Android-соединение

1. Откройте параметры разработчика и включите отладку по USB.

2. Подключитесь через дата-кабель или Wi-Fi (закройте мобильный помощник)

3. Согласитесь на отладку по usb на мобильном телефоне

Официальная документация по подключению к IOSair test.doc.IO.netease.com/IDE doc S/Dev…

3.2 Подключение к эмулятору

1. Получите ip и номер порта эмулятора

2. Заполните ip и порт на удаленном устройстве в соответствии с форматом adb connect ip:port.

3. Нажмите, чтобы подключиться

4. Подождите несколько секунд, устройство симулятора отобразится в списке устройств, нажмите подключить

3.3 Подключение к окну Windows

В окне устройства — подключение окна Windows, нажмите, чтобы выбрать экран игры или окно поиска, выберите окно, чтобы завершить подключение

Четыре. Пишите и выполняйте варианты использования

В этом документе в качестве примера используется телефон Android и используется команда Airtest для завершения написания демонстрационного варианта использования.

1. писать сценарии

Команда операции:

• прикоснуться: прикоснуться
• салфетка: салфетка
• Подожди подожди
• существует: существует ли
• снимок: скриншот
• текст: ввод текста
• ключевое событие: нажатие клавиши
• спать спать
• assert_exist: Подтвердить существование
• assert_not_exist: Утверждение не существует
• assert_equal: подтвердить равенство
• assert_not_equal: утверждение не равно

1.1 Новый скрипт

На панели операций нажмите «Файл» — «Новый сценарий» — «.air Airtest Project».

1.2 Запись сценариев

1.2.1 Сценарий автоматической записи

Нажмите кнопку автоматической записи во вспомогательном окне Airtest, чтобы начать запись.

Работайте в области скриншота устройства в окне устройства, подключенном к Хоу справа, соответствующее действие будет автоматически записано как код, и изображение рабочей области будет автоматически захвачено.

Вам необходимо вручную добавить ожидание или спящий режим между операциями, в противном случае это может привести к сбою, поскольку операция и отображение не синхронизированы.

Изображения, сделанные автоматически, обычно не очень точны, рекомендуется делать снимки вручную.

1.2.2 Ручная запись сценариев

Нажмите команду операции в Airtest, а затем сделайте снимок экрана в окне подключенного устройства, чтобы завершить этап операции.

2. выполнить скрипт

Нажмите кнопку «Выполнить» в строке меню или нажмите F5, чтобы начать выполнение скрипта.

Его также можно запустить из командной строки: airtest run «путь к вашему каталогу .air» --device Android: / / /

пять. Посмотреть отчет

В AirtestIDE вы можете нажать последнюю кнопку «Просмотреть отчет» в верхнем меню значков, клавиша быстрого доступаCtrl+L, через несколько секунд автоматически откроется страница отчета о результатах в браузере по умолчанию.

1 Содержание отчета

Отчет в основном разделен на две части:

①В верхней части отчета вы можете увидеть некоторую информацию, относящуюся к отчету, например: название отчета, автора, описание отчета (настраиваемое) и снимок. Нажмите на любой из снимков, и ниже отобразится соответствующая тестовая информация.

②В нижней части отчета подробно показано каждое тестовое действие и его выполнение. Нажмите тестовое действие слева, и подробности о результате выполнения соответствующего действия отобразятся справа. И мы также можем фильтровать различные результаты выполнения с правой стороны.

2 Описание пользовательского отчета

Если в скрипте прописано следующее, то это будет отображаться в отчете:

authorСоответствующий автор сценария

titleсоответствующее название сценария

__desc__ может написать длинное описание скрипта, которое будет отображаться на странице и автоматически сворачиваться, если превысит определенное количество строк

3 других

Щелкните log.txt, чтобы просмотреть файл журнала.

Щелкните значок глаза шага, чтобы увидеть контекст

Щелчок по миниатюре изображения отобразит выполнение соответствующего шага.

Суммировать

Работа Airtest относительно проста и в основном не требует кода, поэтому он очень подходит для людей, которые только начинают и не имеют опыта тестирования, чтобы использовать этот инструмент для автоматического тестирования пользовательского интерфейса.В то же время Airtest также предоставляет открытый исходный API, чтобы старшие инженеры-испытатели могли использовать платформу Airtest.