04.Строительство кластера Zookeeper

ZooKeeper
04.Строительство кластера Zookeeper

Обязательное условие: перед сборкой кластера Zookeeper убедитесь, что кластер Hadoop собран! Обратитесь к Белому Медведю03. Построение кластера Hadoop

1. Строительство кластера Zookeeper

  • Машина MyNode01 (пользователь icebear)
    • Загрузите установочный пакет
    • Загрузите и разархивируйте установочный пакет zookeeper.
      • cd /home/bgd/soft
      • tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /home/bgd/install/
    • Изменить файл конфигурации
      • cd /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/conf
      • cp zoo_sample.cfg zoo.cfg
      • mkdir -p /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/zkdatas
      • vim zoo.cfg 
        # 添加如下配置
dataDir=/home/bgd/install/zookeeper-3.4.5-cdh5.14.2/zkdatas
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=MyNode01:2888:3888
server.2=MyNode02:2888:3888
server.3=MyNode03:2888:3888
    • На других машинах, где распространяется настроенный zookeeper
      • cd /home/bgd/install
      • sudo scp -r zookeeper-3.4.5-cdh5.14.2/ MyNode02:$PWD
      • sudo scp -r zookeeper-3.4.5-cdh5.14.2/ MyNode03:$PWD
    • Настроить переменные среды
      • sudo vim /etc/profile 
        JAVA_HOME=/home/bgd/install/jdk1.8.0_141
HADOOP_HOME=/home/bgd/install/hadoop-2.6.0-cdh5.14.2
# 本次添加
ZK_HOME=/home/bgd/install/zookeeper-3.4.5-cdh5.14.2
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin

export JAVA_HOME
export HADOOP_HOME
# 本次添加
export ZK_HOME
export PATH
    • Распространить настроенные переменные среды на другие машины
      • sudo scp /etc/profile MyNode02:/etc/
      • sudo scp /etc/profile MyNode03:/etc/
  • Добавьте myid и сделайте так, чтобы переменная среды вступила в силу.
    • MyNode01 (пользователь ледяного медведя)
      • echo 1 > /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/zkdatas/myid
      • source /etc/profile
    • MyNode02 (пользователь ледяного медведя)
      • echo 2 > /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/zkdatas/myid
      • source /etc/profile
    • MyNode03 (пользователь ледяного медведя)
      • echo 3 > /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/zkdatas/myid
      • source /etc/profile

2. Включить/выключить кластер zookeeper

  • Все машины выполняются отдельно (пользователи icebear)
    • включи
      • sudo /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh start
    • Проверять
      • sudo /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh status
    • останавливаться
      • sudo /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh stop
    • перезагружать
      • sudo /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh restart
    • Просмотр журнала ошибок
      • sudo /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh start-foreground
  • Машина MyNode01 (пользователь icebear)
    • Один ключ для открытияsudo bash zk_start.sh 
      #!/bin/sh
for host in MyNode01 MyNode02 MyNode03
do
        ssh $host "/home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh start"
        echo "$host ZK is running"
done
    • Просмотр в один кликsudo bash zk_status.sh 
      #!/bin/sh
for host in MyNode01 MyNode02 MyNode03
do
        ssh $host "/home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh status"
        echo "$host"
done
    • Закрыть в один кликsudo bash zk_stop.sh 
      #!/bin/sh
for host in MyNode01 MyNode02 MyNode03
do
        ssh $host "/home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh stop"
        echo "$host ZK is stoped"
done

3. Просмотр кластера

  • image.png

4. Устранение неполадок

  • Просмотр журналов
    • sudo /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh start-foreground
  • Если кластер Zookeeper не запускается нормально
    • Изменить zkServer.sh
      • sudo vim /home/bgd/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh 
        # 添加
source /etc/profile
    • Запустите кластер снова
      • sudo bash zk_start.sh
Категории