Автоматизация анализа данных: введение в Rath, инструмент анализа данных с открытым исходным кодом

визуализация данных
Автоматизация анализа данных: введение в Rath, инструмент анализа данных с открытым исходным кодом

Рат - этоРасширенная аналитикаВ качестве инструмента анализа визуализации данных вам нужно только импортировать источник данных, и Rath поможет вам автоматизировать общие задачи анализа и визуализировать данные с интересной информацией.

Адрес на гитхабе:GitHub.com/KanAries/RA…

Что делает Рат? Зачем использовать Рат?

Большую часть работы по исследованию и анализу данных (EDA) необходимо выполнять вручную. Аналитикам необходимо понимать различные характеристики данных и находить скрытые закономерности и идеи. В прошлом с такими инструментами, как Tableau и PowerBI, эти задачи могли быстро выполняться аналитиками в режиме самообслуживания. Однако с увеличением сложности данных исследование и анализ данных становятся все более и более сложными. Согласно статистике, количество полей (параметров, метрик и т. д.), задействованных в одном наборе данных исследовательского анализа в производственной среде, за последние два года увеличилось в 9 раз.Это означает, что если раньше при анализе розыгрыша аналитику приходилось анализировать более десяти показателей, то теперь необходимо обрабатывать сотни показателей.. Но инструменты аналитики или BI, используемые аналитиками, по-прежнему используют старый способ полагаться на человеческий анализ.Rath предоставляет возможности автоматизированного анализа данных для быстрого извлечения правил и потенциальных подсказок в наборе данных и предоставления их пользователям для повышения эффективности исследования и анализа данных.

Кроме того, многие опытные практики очень хорошо знают свою отрасль, но им не хватает знаний и технологий анализа данных.В настоящее время Rath может предоставить им услуги интеллектуального анализа данных, позволяя бизнес-персоналу сосредоточиться на самой бизнес-логике. Не нужно заботиться о различных методах анализа и алгоритмах.


Традиционный процесс исследования и анализа данных требует много пробной работы, поскольку аналитики не могут заранее обнаружить поля с потенциальной информацией, им нужно пытаться искать и находить постепенно. Этот шаг зависит от наличия у аналитиков достаточных знаний в предметной области, возможностей анализа данных и даже некоторых навыков визуального анализа. Rath поможет вам снизить порог использования на этом этапе, поможет вам автоматизировать статистический анализ и интерактивную работу по визуальному дизайну, а также позволит вам больше сосредоточиться на более значимых действиях, таких как интерпретация, понимание, гипотеза и проверка. Это преимущество будет более заметным в сценариях с более сложными наборами данных и более глубоким пониманием предметной области.

Например, набор данных телескопа Келпер на Kaggle, будет очень сложно провести анализ без профессиональных знаний в предметной области. Столкнувшись с большим количеством полей, аналитики часто не могут начать, и им нужно сделать много попыток, прежде чем они смогут найти какие-то значимые правила для анализа. Этот метод анализа, несомненно, неэффективен, и проблема становится все более очевидной в сценариях с более сложными наборами данных и большим количеством полей. Когда набор данных достигает более 100 полей, даже опытным специалистам по данным приходится много работать. Rath предлагает автоматизированное решение для такого рода проблем, позволяющее машине помочь вам автоматически завершить анализ и исследование набора данных и предоставить некоторые потенциально ценные рекомендации, которые помогут вам быстрее находить проблемы.
image.png
Как показано на рисунке, также трудно использовать удобные инструменты визуального исследования, такие как таблица, и трудно найти очевидные представления со статистическими выводами для многих комбинаций измерений или показателей.

Благодаря возможностям автоматического анализа Rath вы можете быстро создавать визуализации (сильные корреляции, тренды, аномалии и т. д.) с потенциальными статистическими выводами.
image.png

image.png
image.png

Как видите, Rath может улавливать интересные закономерности и закономерности в данных и автоматически проектировать визуализацию для их отображения.Ниже представлено демонстрационное видео Rath.

(Старая версия, новую версию можно прочитать прямо ниже)



Кроме того, мы можем взглянуть на шаги по использованию Rath.

импорт источника данных

Сначала загрузите набор данных, который вы хотите проанализировать в Rath (в настоящее время поддерживаются данные в формате csv, json), найдите кнопку загрузки файла и нажмите ее. Здесь вы можете выбрать, следует ли выполнять выборку (используется, когда набор данных слишком велик). Rath поддерживает перенос потоковых данных для CSV-файлов, так что не беспокойтесь, даже если набор данных очень большой.
image.png
После получения данных, как показано на рисунке ниже, вы можете увидеть предварительный просмотр данных
image.png

После загрузки вы можете нажать кнопку настройки, чтобы настроить свое понимание полей (какие поля являются измерениями/независимыми переменными, какие поля являются мерами/зависимыми переменными). Rath поможет вам сделать вывод о типах большинства полей, так что вам нужно только Просто выполните грубую проверку и откорректируйте поля, которые, по вашему мнению, неразумно делать.
image.png

image.png
Или вы можете использовать панель конфигурации справа.


В интерфейсе настройки источника данных вы также можете настроить стратегию очистки данных и даже выполнить выборку данных и обработку полей.

Анализ данных и визуализация алгоритмов

После импорта источника данных нажмитеextract insightsкнопка. Система автоматически перейдет на страницу записной книжки (старая). Если вас не очень беспокоит процесс анализа и контроль некоторых параметров, вы также можете сразу перейти к интерфейсу Исследовать или приборной панели.
image.png

Отображение результатов Insight и визуальные рекомендации

На странице Исследовать будут отображаться все визуальные графики, рекомендованные системой. Вы можете просмотреть один за другим здесь. Графики, рекомендуемые системой, отсортированы по рекомендуемому приоритету, поэтому график в верхней части страницы имеет более высокую степень рекомендации. Помимо помощи в поиске интересных представлений из огромных наборов данных, Rath также разработает для вас более эффективное визуальное отображение, чтобы помочь вам быстрее понять истории в данных.

image.png
Распределение самоубийств сильно различается среди разных поколений.
image.png
На приведенном выше рисунке показано, что в развивающихся странах с населением от 1000 до 2000 человек уровень самоубийств среди мужчин значительно выше, чем среди женщин.

Создавайте ассоциации на основе интересующих вас графиков

Когда вы найдете интересующую вас диаграмму, вы можете нажать кнопку Lenovo (маленькая лампочка), и Rath поможет вам найти визуализацию, связанную с этой визуализацией, чтобы помочь вам провести более подробный анализ.

image.png

Отображение результатов Lenovo
image.png

sui_demo.png
Если вас заинтересовала рекомендуемая диаграмма, вы можете перейти на страницу с диаграммой, чтобы на ее основе сделать последующие ассоциации.

image.png
Как показано на рисунке ниже, после нажатия на переход основная диаграмма перейдет на страницу диаграммы, которая вас только что заинтересовала. Если вы продолжите нажимать кнопку Lenovo позже, вы сможете продолжить связывание на основе текущей диаграммы.
image.png
новый результат ассоциации
image.png

Если у вас есть четкая цель и вас больше беспокоят какие-то конкретные параметры или показатели, вы можете использовать функцию поиска Rath для непосредственного поиска интересующей вас информации:
image.png

Интерпретация данных: обнаружено несколько типов данных

Теперь Rath позволяет обнаруживать более конкретные типы информации, такие как аномалии, тренды, кластеры и многое другое.

Как показано на рисунке ниже, Rath сообщит вам, почему рекомендуются рекомендуемые представления, объяснит значение различных типов понимания и, при необходимости, предоставит более подробную информацию (например, кто является конкретной аномалией).

image.png

Прямое создание интерактивных отчетов/новостей данных

Если вы хотите получить более полное представление о наборе данных за один раз, вы можете перейти на страницу информационной панели, нажать кнопку создания информационной панели, и система поможет вам создать несколько визуальных отчетов напрямую!

Эта возможность также может предоставлять возможности журналистики данных. Часто наши повседневные заботы основаны на данных, а не на нескольких фиксированных информационных панелях. Может быть, когда-нибудь проблема аналитика будет включать в себя несколько разных информационных панелей, и проблема может быть обнаружена только при всестороннем рассмотрении. В настоящее время вы можете использовать функцию автоматических рекомендаций Rath для создания новостей с динамическими данными, которые автоматически отправляются пользователям каждый день и обеспечивают анализ данных на основе данных в реальном времени.Пользователи могут детализировать и анализировать контент, который они заботиться или перейти к существующему онлайн-отчету.

image.png
image.png

После получения отчета нажмите кнопку «Использовать как фильтр» в правом верхнем углу диаграммы, чтобы включить функцию привязки.

Jan-09-2020 11-56-45.mp4 (6.78MB)

связанные ресурсы

Попробуйте использовать онлайн-версию для анализа данных:Kanaries Rath
Адрес на гитхабе:GitHub.com/KanAries/RA…