5. Работа интерфейса пользовательского интерфейса Apache Griffin

1. Работа с пользовательским интерфейсом Apache Griffin

Apache Griffin — это решение для обеспечения качества данных с открытым исходным кодом для распределенных систем данных любого масштаба в контексте потоковых или пакетных данных.

Кроме того, он также обеспечивает работу интерфейса на основе Angular, что может быть более удобным для ручной установки исходных данных, целевых данных, индикаторов мониторинга, отображения результатов и других функций.

2. Процесс

在这里插入图片描述 После входа в систему вы можете выполнить следующие действия:

Сначала создайте новую меру.
Затем создайте задание для периодической обработки метрики.
Наконец, тепловые карты и информационные панели будут отображать график данных показателей.

2.1 Источники данных

Нажмите «DataAssets» в правом верхнем углу, чтобы просмотреть активы данных.

在这里插入图片描述 Все источники данных можно посмотреть здесь

2.2 Создание индикаторов

Щелкнув «Меры», затем выбрав «Создать меры». Вы можете использовать эту метрику для управления данными и получения желаемых результатов. 在这里插入图片描述 На выбор предлагается четыре основных варианта индикатора, а именно:

Если вы хотите измерить степень совпадения между источником и целью, выберите «Квази-точность».
Выберите профилирование, если хотите проверить данные на определенное значение (например, количество пустых столбцов).

В настоящее время интерфейс пользовательского интерфейса поддерживает только создание показателей точности.

2.2.1 Accuracy 在这里插入图片描述 определение: Измерьте степень соответствия между исходными данными, целевыми данными и прямыми данными.

Steps:

1. Выберите исходные данные Выберите исходную базу данных и поля для сравнения 在这里插入图片描述 2. Выберите цель

Выберите целевую базу данных и поля для сравнения 在这里插入图片描述 3. Сопоставление источника и цели

Шаг 1: «Сопоставить с»: выберите правила, соответствующие исходным и целевым данным. На выбор предлагается 6 вариантов:

i. = : данные двух столбцов должны точно совпадать. ii. != : данные двух столбцов должны быть разными. iii.> : данные целевого столбца должны быть больше, чем данные исходного столбца. iv. >= : данные целевого столбца должны быть больше или равны данным исходного столбца. v.

Шаг 2: «исходные поля»: выберите исходный столбец для сравнения с целевым столбцом.

在这里插入图片描述 4. Конфигурация раздела

Установите конфигурацию раздела для исходного набора данных и целевого набора данных. Размер раздела относится к минимальной единице данных базы данных куста, которая используется для разделения данных, которые вы хотите вычислить.

Путь к файлу Готово указывает формат пути к файлу Готово 在这里插入图片描述 5. Конфигурация

Информация, необходимая для определения меры. организация — это значение группы показателей, после чего панелью показателей можно управлять по группам. 在这里插入图片描述 6. Измерьте информацию об измерении

После создания нового показателя точности проверьте созданный показатель, выбрав его на странице перечисленных показателей. 在这里插入图片描述 Например:

Предположим, что исходная таблица A содержит 1000 записей, а целевая таблица B содержит только 999 записей, полностью соответствующих A в выбранном поле, тогда степень точности = 999/1000*100%=99,9%.

2.3 Create Job

Нажав «Вакансии», а затем выбрав «Создать вакансию». Задания могут быть отправлены для периодического выполнения мер

在这里插入图片描述 В настоящее время пользовательский интерфейс поддерживает только простые периодические измерения. Заполните блок конфигурации задания.

Имя задания: Задания, которые можно отправить, задают имя задания.
Имя метрики: имя метрики для планирования. Его нужно выбрать из списка мер, созданных ранее.
Cron Expression: cron-выражение планировщика. Например: 0 0/4 * * *.
Начало: Сравните время начала сегмента данных со временем запуска.
Конец: Сравните время окончания сегмента данных со временем запуска.

После отправки задания Apache Griffin запланирует задание в фоновом режиме, и после завершения расчета результаты можно просмотреть на панели мониторинга.

3. Панель показателей

После завершения обработки есть 3 способа представить график данных.

1. Нажмите «Здоровье», отобразится тепловая карта данных индикатора. 在这里插入图片描述 2. Нажмите «Метрики DQ».Вы можете увидеть информацию о значке индикатораНажмите на диаграмму, чтобы увеличить ее и увидеть показатели для выбранного временного окна. 在这里插入图片描述 Индикаторы отображаются в правой части страницы. Нажав на меру, вы можете получить графики и подробные сведения о результате меры.