02. Введение в локальную кластерную среду

Большие данные

Построение кластера Hadoop

1. Основная информация о кластере

  1. Количество кластеров: 3

  2. MyNode01

    • Система: Centos7.6

    • Оперативная память: 16 ГБ

    • Жесткий диск: 1T

  3. MyNode02

    • Система: Centos7.6

    • Оперативная память: 12 ГБ

    • Жесткий диск: 500 ГБ

  4. MyNode03

    • Система: Centos7.6

    • Оперативная память: 12 ГБ

    • Жесткий диск: 500 ГБ

2. Версия программного пакета

  1. система

    • CentOS-7-x86_64-DVD-1810.iso

  2. Версия платформы CDH: 5.14.2

  3. Hadoop

    • hadoop-2.6.0-cdh5.14.2.tar.gz

    • jdk-8u141-linux-x64.tar.gz

    • zookeeper-3.4.5-cdh5.14.2.tar.gz

  4. Hive

    • hive-1.1.0-cdh5.14.2.tar.gz

    • mysql-connector-java-5.1.38.jar

  5. Hbase

    • hbase-1.2.0-cdh5.14.2.tar.gz

    • apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz

  6. Flume

    • flume-ng-1.6.0-cdh5.14.2.tar.gz

  7. Sqoop

    • sqoop-1.4.6-cdh5.14.2.tar.gz

    • java-json.jar

    • mysql-connector-java-5.1.38.jar

  8. Impala

  9. Spark

    • scala-2.11.8.zip

    • spark-2.3.3-bin-hadoop2.7.tgz

  10. Kafka

    • kafka_2.11-1.0.1.tgz

    • kafka-eagle-bin-1.2.3.tar.gz

  11. Flink

    • Flink-1.8.1-src.tgz

3. Среда разработки

  1. Операционная система: Mac OS

  2. Инструмент разработки: IDEA 2019

  3. Вспомогательный инструмент: FinalShell 3.9

4. Замечания

  • Бай Сюн сделал три подержанных ноутбука, а затем вставил их в систему Centos7.6. Общий объем памяти кластера составляет 40 ГБ, а общий объем жесткого диска — 2Т. Если на более позднем этапе этого недостаточно, Белый Медведь добавит ресурсы и машины~~

  • Обувщики, которым нужны конкретные шаги по перепрошивке, могут оставить сообщение в области сообщений.Если людей много, Белый Медведь напишет статью, в которой подробно познакомит с процессом перепрошивки.

Категории