Это 7-й день моего участия в Gengwen Challenge.Подробности о мероприятии:Обновить вызов
предисловие
Сегодня я кратко расскажу о компиляции исходного кода Hadoop — проблеме, которую часто все игнорируют. Но когда вы ищете работу, интервьюер обычно спрашивает вас, скомпилировали ли вы исходный код, поэтому необходимо знать принцип и процесс компиляции исходного кода. Что касается того, почему вам нужно скомпилировать исходный код, то причина на самом деле очень проста: официальный загруженный jar по умолчанию 32-битный, а компьютеры, которые вы сейчас используете, в основном 64-битные, поэтому вам нужно скомпилировать исходный код. на 64-бит для нормальной работы.
1. Обзор процесса компиляции исходного кода Hadoop
Весь процесс компиляции сводится к 3 этапам: (1) предварительная подготовка; (2) установка пакета jar; (2) компиляция исходного кода. Кажется, что все очень просто.Общие проблемы в процессе компиляции делятся на две категории: (1) виртуальная машина не может быть решена на ранней стадии; (2) проблемы в процессе установки jar-пакета не будут решены , и редактор подскажет вам некоторые вещи, на которые стоит обратить внимание позже. Далее описывается работа, которую необходимо выполнить на каждом этапе (см. курс Shang Silicon Valley Big Data), который описан следующим образом:
Настроить CentOS для подключения к внешней сети можно прямо в терминальном терминале виртуальной машины Linux: pingwww.baidu.com, вы можете пропинговать его.
Примечание. Скомпилируйте с ролью root, чтобы уменьшить проблему с правами доступа к папкам.
Подготовка пакета jar 1.2 (исходный код Hadoop, JDK8, maven, ant, protobuf)
(1) hadoop-2.7.2-src.tar.gz
(2) jdk-8u144-linux-x64.tar.gz
(3) apache-ant-1.9.9-bin.tar.gz (инструмент сборки, используемый для упаковки)
(4) apache-maven-3.0.5-bin.tar.gz
(5) protobuf-2.5.0.tar.gz (среда сериализации)
Сообщение со сводкой по проблеме для версии 2.7.0Ууууууууууууууууууууу.com/articles/IB…
2 Практика компиляции исходного кода
Обзор процесса, приведенного выше, основан на учебнике по большим данным Shang Silicon Valley, В этом разделе редактор предложит вам попрактиковаться вместе.
Подготовьтесь, как описано в предыдущем разделе.Обратите внимание, что виртуальная машина должна быть чистой, настроена только сеть и не установлен пакет jar. Поскольку я подготовил его раньше, я решил клонировать виртуальную машину напрямую.Этот процесс уже объяснялся ранее.Подробнее см.:Построение операционной среды Hadoop для больших данных. Пакет jar, используемый редактором, выглядит следующим образом:
2.1 Распаковка JDK, настройка переменных среды JAVA_HOME и PATH, проверкаjava-версия (следующее необходимо проверить, успешна ли конфигурация)
2.2 Распаковка Maven, конфигурация MAVEN_HOME и PATH
2.3 декомпрессия муравья, конфигурация ANT _HOME и PATH
Вышеупомянутая проблема возникает в yum, см. решение:no.OSCHINA.net/U/4340589/no…
2.4 Установка Команды glibc-headers**** и g++ следующие:
2.6 Разархивировать protobuf,Перейти в основной каталог protobuf после распаковки, /opt/module/protobuf-2.5.0, а затем выполнить команды одну за другой
[root@hadoop101 software]#yum installopenssl-devel
[root@hadoop101 software]#yum installncurses-devel
Суммировать
До сих пор было объяснено введение в Hadoop. Редактор многому научился, и я считаю, что друзья, которые встретились на его пути, тоже многому научились. Далее редактор познакомит вас с компонентами HDFS, MapReduce, Yarn Hadoop, пожалуйста, продолжайте обращать внимание! Редактор продолжит обновлять большие данные и другой контент в будущем, следите за обновлениями. Для получения более интересного контента, пожалуйста, обратите внимание на общедоступный номер: Сяо Хан отведет вас учиться