Это 11-й день моего участия в Gengwen Challenge, смотрите подробности мероприятия:Обновить вызов
Предыдущий:Практический пример режима псевдораспределения Hadoop, Сегодня Xiaobian объединяет кейс-операции, чтобы рассказать вам о полностью распределенном режиме работы Hadoop. На самом деле полностью распределенный режим (кластерный режим) является основным направлением разработки и важным навыком технического директора. В реальной работе используется полная модель дистрибутива.Процесс построения будет описывать редактор в этой статье.Я думаю хорошо написано.Пожалуйста,лайкайте,пересылайте,перепечатывайте и собирайте.
Предыдущий редактор объяснил конструкцию режима псевдораспределения Hadoop.Режим псевдораспределения заключается в запуске Hadoop на «кластере с одним узлом», в котором все демоны работают на одной машине. Этот режим добавляет возможности отладки кода поверх автономного режима, позволяя вам проверять использование памяти, ввод-вывод HDFS и другие взаимодействия демона. Сегодня редактор объяснит полностью распределенный режим работы.Полностью распределенный режим обычно используется в производственной среде.Здесь мы используем N хостов для формирования кластера Hadoop, и демон Hadoop работает на каждом хосте. Будет хост, на котором работает Namenode, хост, на котором работает Datanode, и хост, на котором работает средство отслеживания задач. В распределенной среде главный узел и подчиненные узлы будут разделены. Анализ процесса построения полностью распределенного режима показан на следующем рисунке.
В предыдущей статье мы объяснили процесс построения псевдораспределенного режима.В этой статье редактор объяснит построение полностью распределенного режима работы.В этом разделе редактор представит процесс построения всего псевдораспределенного режима. подробно о распределенном режиме с практическими операциями, которые можно условно разделить на следующие 8 шагов:
Примечание. В скопированном каталоге /opt/module не забудьте изменить владельца и группу владельцев всех файлов на Hadoop102, Hadoop103 и Hadoop104. sudo chown xuefa:xuefa -R /opt/module
Примечание: NameNode и SecondaryNameNode стараются сохранить соотношение 1:1, для этого их необходимо разместить на разных серверах, старайтесь не находиться на одном сервере.
(1) Основной файл конфигурации: vim core-site.xml
Настройте hadoop-env.sh: vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
Настройте hdfs-site.xml: vim hdfs-site.xml
Настройте пряжу-env.sh: vim пряжа-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
Настройте yarn-site.xml: vim yarn-site.xml
Настройте mapred-env.sh: vim mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
cp mapred-site.xml.templatemapred-site.xml
(1) Если кластер запускается впервые, необходимоформат ****NameNode
(3) Запустите DataNode на Hadoop102, Hadoop103 и Hadoop104 соответственно.
http://192.168.220.132:50070/explorer.html#/
(4) Мысль: каждый раз, когда запускается один узел, что, если количество узлов увеличится до 1000?
Когда наступило утро, узлы запустились один за другим, а отгул как раз закончился к вечеру.
Чтобы решить вышеупомянутую (4) проблему мышления, нам нужна конфигурация входа без пароля SSH.
(2) Сгенерируйте открытый и закрытый ключи: ssh-keygen -t rsa
5.3 Объяснение функций файлов в папке .ssh (~/.ssh)
/opt/module/hadoop-2.7.2/etc/hadoop/slaves
Примечание. В конце содержимого, добавляемого в этот файл, не допускаются пробелы, а в файле не допускаются пустые строки.
(1) Если кластер запускается в первый раз, NameNode необходимо отформатировать (обратите внимание, что перед форматированием обязательно остановите все процессы namenode и datanode, которые были запущены в прошлый раз, а затем удалите данные и данные журнала)
hadoop103 и hadoop104 останавливаются и запускаются одинаково
(2) Запустите HDFS: sbin/start-dfs.sh
(3) Запустите ПРЯЖУ: sbin/start-yarn.sh
Примечание. Если NameNode и ResourceManger не являются одним и тем же компьютером, YARN нельзя запустить на NameNode, и YARN следует запустить на компьютере, на котором расположен ResouceManager.
(4) Просмотр SecondaryNameNode на стороне Интернета
(а) Введите в браузере:http://hadoop104:50090/status.html
(b) Просмотрите информацию SecondaryNameNode, как показано на рисунке.
Объясняется полностью распределенный режим Hadoop, и следующий раздел дополнит объяснение: синхронизация времени кластера, пожалуйста, продолжайте обращать внимание. Редактор продолжит обновлять большие данные и другой контент в будущем, следите за обновлениями. Для получения более интересного контента, пожалуйста, обратите внимание на общедоступный номер: Сяо Хан отведет вас учиться