Это 9-й день моего участия в Gengwen Challenge.Подробности мероприятия смотрите:Обновить вызов
DataOps, как следует из названия, является производным от концепции DevOps, предоставляя полностью автоматические и интегрированные функции сбора и анализа данных в одной корзине. Давным-давно у компании было намерение купить версию ControlHub, поэтому я связался с компанией, но, к сожалению, ответственное лицо ответило мне и сообщило, что в настоящее время нет каналов продаж в Китае. А теперь появилась бета-версия Online~~~, следуйте за мной, чтобы увидеть преимущества этой большой платформы?
1. Предстоящая версия 4.0
Я давно видел помощь StreamSets online 4.0, но в версии для скачивания ее нет, что делает людей очень любопытными, какую большую хитрость сдерживает StreamSets?
Да, благодаря опыту я открыл секрет, эта версия откроет свои собственные облачные соединения, предоставляя следующие мощные функции:
- управление работой
- Планирование управления заданиями
- нагрузка, динамическое масштабирование
- поддержка фрагмента функции
- Облачная платформа
- Распределенная вычислительная мощность
- Хороший мониторинг и управление пользователями
2. Опыт входа
StreamSets запустила мероприятие третьего квартала, что является редкой возможностью. Друзья, которые хотят попробовать его, могут попробовать.
2.1 Регистрация
регистрационная запись.Для входа требуется лестница. После входа следуйте инструкциям и постройте ее в течение 5 минут.
2.2 Создайте сценарий развертывания
2.3 Скопируйте сценарий развертывания
В форме:
curl -s https://dev.hub.streamsets.com/streamsets-engine-install.sh | bash -s -- --deployment-id="1b72d612-b533-48f0-966b-927b488231a7:cd534f44-cf0f-11eb-a0cd-b3e334979695" --deployment-token="eyJ0eXAiOiJKV1QiLCJhbGciOiJub25lIn0.eyJzIjoiMTBjNGFmMTdlNWIwYzUwOGM4MGZhZmY3MjI4NjAzZDZmZDIwNGY4MmMwYzliYWY2MjQ5MDZmZjdiZWM0NmMyNWI1YjA4N2Q0MGM1Mjc3Y2E4YmQ0NGQ2MThmNTI3MDI1ZGE3ZTFlMGI0NTg2OTZkNzU2M2U3MGJiZjQ5NGE0MzIiLCJ2IjoxLCJpc3MiOiJkZXYiLCJqdGkiOiI5YmFiMDk1MS1mM2JhLTQxYTYtYjk0NC00ZTE4NzVlZDEwZTciLCJvIjoiY2Q1MzRmNDQtY2YwZi0xMWViLWEwY2QtYjNlMzM0OTc5Njk1In0." --sch-url="https://dev.hub.streamsets.com"
Если вы скопируете мой скрипт, он добавит мне вычислительную мощность.Вы можете связаться со мной и открыть учетную запись, чтобы испытать себя. Конечно, вы скопировали сценарий, который создали сами, так что вы можете испытать его непосредственно.
2.4 Увеличение вычислительной мощности двигателя
Сначала нам нужен облачный хост~~~ Затем установите java SDK, а затем выполните приведенный выше скрипт.
# 1.安装javasdk
yum -y install java-1.8.0-openjdk*
# 2. 复制你的部署脚本
Обратите внимание, что для платформы вычислительной мощности требуется память объемом 1 ГБ+, поэтому убедитесь, что у вас достаточно памяти.Нажмите Y до упора. StreamSet 4.0 развернут и подключен к вашей облачной платформе.
2.5 Проверка вычислительного движка
Нажмите «Настройка — Двигатели» на платформе концентратора управления, и вы сможете открыть компьютер с добавленной вычислительной мощностью.
3 Конвейер опыта
Откройте конвейер сборки:Откройте один и вы увидите следующую картинку, иконки каждого компонента совершенно новые, а подбор цветов очень удобный.
3.1 Давайте построим конвейер приобретения
Перетащите компоненты и разместите их, и конвейер будет построен за считанные минуты.
3.2 Управление версиями
Облачная платформа предоставляет функцию регистрации, и проблема версии была решена очень хорошо.
3.3 Запуск предварительного просмотра
Щелкните значок маленького глаза.Предварительный просмотр данных выглядит следующим образом:
4 фрагмента опыта (функции)
Предыдущая платформа SDC не могла создавать функции, поэтому мы не могли повторно использовать код. Как насчет этого фрагмента?
4.1 Создать новый фрагмент
Мы строим простой фрагмент http-запроса, как показано ниже, просто отлично. Да, фрагменту не нужен источник и цель, источник и цель — это аргументы и возвращаемые значения функции.
4.2 Отладка следующего фрагмента
Поскольку источника нет, для отладки необходимо выбрать тестовый источник.
4.3 Управление версиями
Что касается фрагментов, у него также есть управление версиями.
4.4 Цитирование фрагментов
Чтобы создать новый конвейер, мы обращаемся к только что созданной функции фрагмента.так привет!
5 job
Недавно добавленное задание — это обновленная версия предыдущего конвейера простого запуска.Информация о мониторинге завершена.
5.1 Создать задание
5.2 Создание задания планирования
С планированием заданий вы все еще беспокоитесь о том, что не сможете регулярно запускать конвейер?
6 Мониторинг данных и вычислительной мощности
7 Управление пользователями
Попрощайтесь с простым управлением пользователями, здесь часто используемые пользователи, группы, аудит, ключи аутентификации API и т. д.
8 Резюме
Вы, ребята, ошеломлены?
Мощная интегрированная платформа — это то, о чем мы думаем!
Во время работы не требуются лестницы, и работа очень плавная. В настоящее время он находится в периоде бета-тестирования и может быть заряжен позже, я надеюсь, что это не слишком дорого.
Если вам это нравится, просто нажмите, чтобы подписаться и добавить в избранное! Ваш клик - моя движущая сила!