введение
Привет всем, яChinaManor, В дословном переводе означает китайский код фермера.Я надеюсь, что смогу стать асфальтоукладчиком на пути национального омоложения, культиватором в области больших данных и обычным человеком, который не желает быть посредственным.
Серия статей «Быстрое понимание» посвящена быстрому началу работы и освоению нового компонента больших данных, чтобы помочь новичкам понять технологию больших данных.
Портал статей:
Быстро понять, что такое Куду в одной статье
Это пятая статья из серии «Быстрое понимание: быстрый чайник ETL для больших данных».
Проблемы мисс Программист
В компанию пришла красивая программистка по имени Сяохуа, она только что закончила колледж, руководитель проекта устроил ее на эту работу:Менеджер проекта хочет, чтобы она импортировала эти данные в MySQL.
Сяохуа только что приехала, и она была так взволнована, что была ошеломлена, и возможность представилась.
требования к извлечению данных
Данные этих пользователей необходимо извлечь из Excel в MySQL с помощью Kettle.
Готов к работе
Для того, чтобы выполнить это дело, нам необходимо подготовить следующие задачи:
Найдите файл Excel мисс сестры
Файл user.xlsx можно найти в папке data/test data.4.3.2 Создание базы данных в базе данных MySQL
Чтобы облегчить извлечение данных из файла Excel в MySQL, мы должны создать базу данных с именем чайник_demo, а последующие данные в Excel будут загружены в таблицу базы данных.
Щелкните правой кнопкой мыши соединение MySQL в DataGrip и выберите New/Schema.
В диалоговом окне «Создать базу данных» введите ticket_demo и нажмите «Выполнить».
Мы видим, что имя базы данныхket_demo было создано.
4.3.3 Загрузка драйвера MySQL в чайник Чтобы подключиться к MySQL, Kettle должен установить драйвер MySQL, точно так же, как установить драйвер видеокарты после установки операционной системы. Загрузка драйвера MySQL требует только следующих двух шагов: 1. Импортируйте пакеты драйвера MySQL jdbc mysql-connector-java-5.1.47.jar и mysql-connector-java-8.0.13.jar в данные вdata-integration/libсередина
3. Перезапустите чайник
Построение графа потоков данных Kettle
Изображение эффекта:Шаги развития
1. Создаём трансформацию в Kettle (два способа)
(1) Щелкните меню: Файл/Создать/Преобразовать
(2) Нажмите кнопку:
(3) Горячая клавиша: Ctrl + N
2. Из основного объекта слева перетащите два компонента «Ввод/Ввод Excel» и «Вывод/Вывод таблицы» в среднюю область соответственно.
3. Затем, удерживая нажатой клавишу Shift, щелкните левой кнопкой мыши на компоненте «Ввод Excel», перетащите его на компонент «Вывод таблицы» и соедините два компонента, чтобы построить диаграмму потока данных.
Настройте компоненты в диаграмме потока данных Kettle
Диаграмма потока данных только что построена, поэтому может ли Kettle извлечь данные из файла Excel в MySQL?
Очевидно нет. Кеттл не знал, в какой файл Excel извлекать данные, в какой MySQL. Нам нужно настроить эти два компонента, чтобы указать Kettle, из какого файла Excel извлекать данные и в какой MySQL загружать данные.
4.5.1 Настройка компонентов ввода Excel
1. Дважды щелкните компонент ввода Excel, появится диалоговое окно, и мы можем настроить компонент в диалоговом окне.
2. Поскольку извлекаемый здесь файл Excel является версией Excel 2007, укажитетип формыДля Excel 2007 XLSX (Apache POI)
3. Затем нам нужно найти файл Excel, который нужно извлечь, нажать кнопку «Обзор» и найти файл «Данные/Тестовые данные/user.xlsx».
4. Затем нажмите кнопку "Добавить" рядом с ним, помните: обязательно нажмите кнопку "Добавить"! Иначе никакого эффекта!
5. Во всплывающем меню щелкните книгу «Лист1» и нажмите кнопку «>», чтобы переместиться вправо.
6. Перейдите на вкладку «Поля», нажмите кнопку «Получить поля из данных заголовка…», Kettle прочитает первую строку имен полей из Excel.
7. Установите для поля age значение #, а для поля register_date — yyyy-MM-dd HH:mm:ss.
8. Нажмите кнопку «Предварительный просмотр записи», чтобы просмотреть извлеченные данные.
9. Нажмите кнопку «ОК», чтобы сохранить.
4.5.2 Настройка компонентов MySQL
4.5.2.1 Создание подключения к базе данных
Чтобы использовать Kettle для работы с MySQL, необходимо установить соединение между Kettle и MySQL, иначе Kettle не будет знать, с какой библиотекой MySQL работать.
1. Дважды щелкните компонент «Ввод таблицы», окно конфигурации откроется автоматически, нажмите кнопку «Создать».
2. Настройте соединение с MySQL
(1) Введите имя подключения, которое начинается с mysql_ и заканчивается именем базы данных teat_demo.
(2) В списке типов подключения выберите MySQL
(3) Способ подключения входа:
(4) Введите параметры подключения MySQL
3. Нажмите кнопку «Тест», чтобы проверить, может ли Kettle правильно подключиться к MySQL. 4. Нажмите OK для сохранения, и здесь должно быть создано соединение с базой данных.
4.5.2.2 Автоматическое создание таблиц в MySQL с помощью Kettle
Чтобы сохранить данные в MySQL, вы должны сначала создать таблицу. Итак, нам нужно вручную создать таблицу в MySQL, чтобы сохранить данные, извлеченные из Excel?
Ответ: не нужно. Kettke может автоматически создавать для нас таблицы в MySQL.
1. Введите имя целевой таблицы: t_user, и Kettle создаст в MySQL таблицу с именем t_user.
2. Нажмите кнопку «SQL» ниже, вы увидите, что Kettle автоматически поможет нам сгенерировать оператор SQL для MySQL для создания таблицы.
Установите для типов полей возраста и пола значение INT.
3. Нажмите кнопку «Выполнить». Kettle позволит MySQL выполнить сценарий SQL. После выполнения вы можете обновить базу данных в DataGrip и просмотреть таблицу t_user, которую нам помог создать Kettle.
4. Нажмите кнопку «ОК», чтобы сохранить конфигурацию.
Сохраните и запустите преобразование чайника
Все компоненты на диаграмме потока данных готовы, и теперь можно выполнить преобразование Кеттла.
1. Нажмите кнопку Сохранить, чтобы сохранить преобразование.
2. Нажмите кнопку воспроизведения на панели инструментов, чтобы начать выполнение.
3. После успешного выполнения вы можете увидеть следующий интерфейс. На компонентах отображаются зеленые галочки, а в результате выполнения видно: конвертация завершена! В журнале указано, что преобразование Kettle успешно выполнено! !
Подтвердить результат выполнения
Помог ли нам Kettle извлечь и загрузить данные из Excel в MySQL? Нам нужно зайти в MySQL, чтобы посмотреть, есть ли данные в таблице t_user.
Дважды щелкните таблицу t_user в DataGrip, и вы увидите, что данные в Excel были извлечены в MySQL.
Вот, поздравляю, вы решили проблему Сяохуа, сестры программиста, и пусть она вечером угостит вас едой.
Суммировать
Вышеупомянутое предназначено для быстрого начала работы с артефактом ETL для больших данных Kettle (xls import mysql),Данные и программное обеспечениеВы можете написать мне в личные сообщения, чтобы получить его ~
Я надеюсь, что у вас есть свой урожай после прочтения, если у вас есть урожай, вы также можетеОдна кнопка три ссылкимгновение~