Подробное руководство по установке трехузловой среды больших данных

Большие данные

Это первый день моего участия в августовском испытании обновлений, подробности о мероприятии:Испытание августовского обновления

текст

Общий процесс

在这里插入图片描述

1. Загрузите CentOS7

  1. Центр поиска Baidu-->
  2. Нажмите на официальный сайт Centos, чтобы подключиться -->
  3. Нажмите DVD ISO-->
  4. нажмитеАП. Можно загорать. Протрите лоб/CentOS/7.6. …Ссылка для скачивания.

在这里插入图片描述

2. Установите программное обеспечение для управления виртуальными машинами.

Учебник по установке Windows

Руководство по установке Mac

VMware Fusion настраивает статический IP-адрес Nat — блог zhishengqianjun — CSDN

После завершения установки виртуальная машина создаст ярлык виртуальной машины на рабочем столе.

在这里插入图片描述

3. Создайте виртуальную машину

3.1 Запустите программное обеспечение для управления виртуальными машинами

После установки программного обеспечения для управления виртуальными машинами дважды щелкните ярлык на рабочем столе.

在这里插入图片描述

Запустите программное обеспечение для управления виртуальными машинами, как показано ниже:

在这里插入图片描述

Как показано на рисунке ниже, нажмите «Файл» -> «Новая виртуальная машина» -> «Выберите типичный (рекомендуется)» (T) по умолчанию -> нажмите «Далее».

在这里插入图片描述

Как показано ниже, нажмите «Установить операционную систему позже» --> нажмите «Далее».

在这里插入图片描述

Как показано ниже, выберите Linux(L) --> Выберите 64-разрядную версию CentOS7 --> Нажмите "Далее".

在这里插入图片描述

Как показано на рисунке ниже, введите имя: BaseCentos7, выберите создание базовой виртуальной машины, и последующие узлы кластера будут клонированы с этой виртуальной машины.

После ввода имени виртуальной машины

1. Нажмите Обзор --> Выбрать расположение виртуальной машины --> Выбрать этот компьютер --> Выбрать и развернуть локальный диск C.

2. Создайте на диске иерархическую папку myprogram (корневой каталог хранилища виртуальной машины) --> 3nodesvm-->basecentos (каталог хранилища виртуальной машины)

3. Выберите каталог C:\myprogram\3nodesvm\basecentos в качестве каталога хранения BaseCentos7.

4. Создайте узлы node1, node2 и node3 в каталоге C:\myprogram\3nodesvm\ для хранения дисковых файлов виртуальных машин трех последующих узлов соответственно.

5. После выбора каталога basecentos нажмите Далее.

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Как показано на рисунке ниже, измените максимальный размер диска с 20G по умолчанию на 200G (одноразовая модификация больше, при работе кластера будет генерироваться большое количество файлов, а 20G по умолчанию недостаточно)

在这里插入图片描述

Как показано на рисунке ниже, нажмите Finish, чтобы завершить создание виртуальной машины.Через две-три секунды вы увидите созданную виртуальную машину.

在这里插入图片描述

Созданная виртуальная машина выглядит следующим образом:

在这里插入图片描述

3.2 Модифицировать память и ЦП

Как показано ниже, нажмите «Память» -> «Выбрать память» -> «Введите 2048» справа, чтобы настроить память виртуальной машины на 2 ГБ.

在这里插入图片描述

Продолжите операцию на предыдущем шаге, после ввода значения памяти выберите ЦП, выберите количество процессоров и количество ядер равно 2.

在这里插入图片描述

Как показано ниже, нажмите OK.

在这里插入图片描述

Как показано на рисунке ниже, после настройки памяти и процессора следующим образом.

在这里插入图片描述

3.3 Выберите файл образа Centos7

следующеедве картинки:

1. Нажмите на CD/DVD

2. Щелкните CD/DVD (IDE).

3. Нажмите «Использовать файл образа ISO».

4. Нажмите Обзор

5. Выберите файл образа системы centos7, который вы только что начали скачивать.

6. Нажмите, чтобы открыть

7. Нажмите OK, чтобы завершить выбор файла изображения.

在这里插入图片描述

Как показано ниже, нажмите OK

在这里插入图片描述

3.4 установка системы Centos

Как показано ниже, нажмите, чтобы запустить эту виртуальную машину

在这里插入图片描述

Если появится изображение ниже, щелкните Установка завершена.在这里插入图片描述

Дождавшись автоматического обратного отсчета до 0, установка системы начнется автоматически....

在这里插入图片描述

1. Нажмите «Установить инструменты», 2. Нажмите «Продолжить».

在这里插入图片描述

Как показано ниже, нажмите ДАТА И ВРЕМЯ

在这里插入图片描述

Как показано ниже, выберите часовой пояс и нажмите «Готово».

在这里插入图片描述

Как показано ниже, щелкните ИСТОЧНИК УСТАНОВКИ.在这里插入图片描述

Как показано ниже, выберите диск и нажмите «Готово».

在这里插入图片描述

После того, как выбор диска будет завершен, установка «Начать» перейдет в состояние доступности синего цвета,Нажмите «Начать установку», чтобы перейти к следующему шагу.

在这里插入图片描述

Как показано на рисунке ниже, нажмите, чтобы установить пароль пользователя root администратора как root и имя пользователя, которое удобно для памяти.

在这里插入图片描述

在这里插入图片描述

Ожидание завершения процесса установки, пока идеальное начало сделано наполовину, просто терпеливо ждите....

在这里插入图片描述

Установка завершена, как показано ниже, нажмите «Перезагрузить», чтобы перезапустить.

在这里插入图片描述

После перезапуска на следующем рисунке показано, что логин localhost: (двоеточие) сопровождается мигающим белым тире, где localhost представляет текущее имя хоста, и установка виртуальной машины завершена.

在这里插入图片描述

Введите имя пользователя root, введите пароль: root, в это время вам нужно ввести только пароль, но он не отображается в интерфейсе, нажмите Enter после завершения ввода, вход выполнен успешно, как показано ниже:

在这里插入图片描述

После успешного входа в систему будет отображаться [root@localhost ~]#

Введите команду init 0 и нажмите Enter, чтобы закрыть систему centos linux, затем загрузите и сделайте снимок только что установленной виртуальной машины, чтобы предотвратить ошибки в процессе установки программного обеспечения.Вы можете использовать снимок для восстановления системы до только что установленного состояния. .

4. Создайте снимок

Как показано ниже, выполните шаги 1–5, чтобы создать снимок, и просмотрите созданный снимок в шагах 6, 7 и 8. Рекомендуется создать снимок для ключевых шагов последующей операции.

在这里插入图片描述

4. Конфигурация среды

После создания моментального снимка запустите виртуальную машину и войдите в систему, используя пользователя root и пароль root.

在这里插入图片描述

4.1 Остановить брандмауэр

#停止防火墙
[root@localhost ~]#systemctl stop firewalld
#禁止防火墙随着系统启动而启动
[root@localhost ~]#systemctl disable firewalld
#查看防火墙状态
[root@localhost ~]#systemctl status firewalld

Работа брандмауэра выглядит следующим образом:

在这里插入图片描述

4.2 Отключить селинукс

#将SELINUX的值设置为disabled
[root@localhost ~]# vi/etc/selinux/config
#查看是否设置完成
[root@localhost ~]# cat /etc/selinux/config

在这里插入图片描述

5. Настройте сеть виртуальной машины

5.1 Откройте редактор виртуальной сети

在这里插入图片描述

5.2 Настройка виртуальных сетей и подсетей

Выберите VMnet8, как показано ниже, нажмите «Изменить настройки», нажмите «Да».

在这里插入图片描述

在这里插入图片描述

Выберите здесь VMnet8, введите 192.168.200.0 в качестве IP-адреса подсети и введите 255.255.255.0 в качестве маски подсети.

在这里插入图片描述

Нажмите «Настройки NAT», введите IP-адрес шлюза 192.168.200.2 (этот IP-адрес должен быть 192.168.200.2, а не 192.168.200.1. Этот IP-адрес имеет особое назначение, просто знайте это), нажмите «ОК».

在这里插入图片描述

Нажмите OK, чтобы завершить настройку виртуальной сети.

在这里插入图片描述

5.3 Настройка сети виртуальной машины

BaseCentos -> Щелкните правой кнопкой мыши и выберите «Настройки», чтобы открыть настройки виртуальной машины.

在这里插入图片描述

Выберите Сетевой адаптер --> Выберите Пользовательский (U): Конкретная виртуальная сеть --> ОК, чтобы завершить сетевые настройки виртуальной машины.

在这里插入图片描述

5.4 Настройка IP-адреса виртуальной машины

[root@localhost ~]#vi /etc/sysconfig/network-scripts/ifcfg-ens33

在文件ifcfg-ens33的末尾新增,如下内容:
IPADDR=192.168.200.10
NETMASK=255.255.255.0
GATEWAY=192.168.200.2 #和在配置虚拟网路中的网关保持一致
DNS1=8.8.8.8
DNS2=144.144.144.144

配置完成后保存文件

#重新启动网卡
[root@localhost ~]#systemctl restart network
#ping 百度的官网保证虚拟机能够访问外网,方便后期在线安装一些依赖软件
[root@localhost ~]#ping www.baidu.com

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

6. Установите инструмент xshell

Используйте этот инструмент для простого управления linux, например для подключения к командной строке linux и загрузки файлов в linux с помощью инструмента передачи файлов xftp.

6.1 установка xshell

在这里插入图片描述

Как показано выше, дважды щелкните Xshell4.exe, чтобы установить

Если появится следующее приглашениенажмите да, который представляет собой механизм подсказок, предоставляемый win8, win10 и другими операционными системами для обеспечения безопасности.

在这里插入图片描述

начать установку

在这里插入图片描述

Нажмите «Далее», как показано ниже.

在这里插入图片描述

Выберите, как показано ниже, нажмите «Далее».

在这里插入图片描述

Выберите, как показано ниже, нажмите «Далее».

在这里插入图片描述

Выберите, как показано ниже, нажмите «Далее».

在这里插入图片描述

Выберите, как показано ниже, нажмите «Далее».

在这里插入图片描述

Нажмите «Установить», как показано ниже.

在这里插入图片描述

Нажмите Готово, чтобы завершить установку.

在这里插入图片描述

6.2 установка xftp

Как показано ниже, дважды щелкните Xftp4.exe, чтобы установить

在这里插入图片描述

Точно так же, если появится изображение ниже, нажмите «Да».

在这里插入图片描述

начать установку

在这里插入图片描述

Как показано ниже, нажмите «Далее».

在这里插入图片描述

Выберите, как показано ниже, нажмите «Далее».

在这里插入图片描述

Выберите, как показано ниже, нажмите «Далее».

在这里插入图片描述

Выберите, как показано ниже, нажмите «Далее».

在这里插入图片描述

Нажмите «Установить», как показано ниже.

在这里插入图片描述

6.3 Использование xshell и xftp

После установки xshell и xftp создайте ярлыки для xshell и xftp на рабочем столе.

Дважды щелкните ярлык Xshell4, чтобы запустить xshell.

在这里插入图片描述

Как показано ниже, нажмите, чтобы открыть在这里插入图片描述

Как показано на рисунке ниже, введите имя basecentos (соответствующее имя для подключения каждой виртуальной машины) и ip виртуальной машины, которую необходимо подключить.

在这里插入图片描述

Как показано ниже, нажмите «Аутентификация пользователя», введите имя пользователя (root) и пароль (root) и нажмите «ОК».

在这里插入图片描述

После подтверждения создайте следующее сеансовое соединение (basecentos), нажмите «Подключиться».

在这里插入图片描述

Как показано на рисунке ниже, при первом подключении к виртуальной машине xshell необходимо сохранить логин и пароль подключающегося пользователя, при следующем входе их нельзя будет ввести, что удобно для последующего входа .

在这里插入图片描述

Как показано на рисунке ниже, мы успешно вошли в систему Linux виртуальной машины basecentos.

在这里插入图片描述

Пока мы завершили использование xshell для подключения к Linux. Мы обнаружим, что шрифт слишком мелкий и неудобный для просмотра. Далее мы настроим шрифт, как показано ниже:

在这里插入图片描述

Как показано на рисунке ниже, нажмите «Внешний вид», выберите размер шрифта 16 справа и нажмите «ОК», чтобы завершить настройку.

在这里插入图片描述

7. Загрузите jdk

Загрузите загруженный jdk в нашу установленную систему Linux.По умолчанию мы используем пользователя root для установки jdk.

Затем нам нужно использовать xftp для загрузки установочного пакета jdk.

Как показано ниже, нажмите кнопку xftp, чтобы открыть инструмент xftp.

在这里插入图片描述

Окно xftp выглядит следующим образом:在这里插入图片描述

Выберите установочный пакет jdk в среде Linux слева, удерживайте левую кнопку мыши и перетащите его прямо вправо и отпустите мышь, вы можете увидеть ход загрузки ниже.

在这里插入图片描述

Как показано ниже, загрузка завершена.

在这里插入图片描述

После завершения загрузки мы можем закрыть окно xftp и вернуться в командное окно xshell.

在这里插入图片描述

Введите команду ll в командном окне xshell и нажмите Enter, как показано ниже, вы увидите только что загруженный установочный файл jdk.

在这里插入图片描述

8. Установите JDK

До сих пор мы загрузили установочный пакет jdk в корневой рабочий каталог пользователя linux с помощью инструмента xftp, а затем установим его.

8.1 Установка jdk

[root@localhost ~]# rpm -ivh jdk-8u211-linux-x64.rpm

На следующем рисунке показан процесс установки jdk.

在这里插入图片描述

Как показано ниже, установка jdk завершена.

在这里插入图片描述

8.2 Настройка переменных среды Java

1. Найдите каталог установки jdk

#首先使用find命令找到java的安装目录
[root@localhost ~]# find / -name java
/etc/alternatives/java
/etc/pki/ca-trust/extracted/java
/etc/pki/java
/var/lib/alternatives/java
/usr/bin/java
/usr/java
#java(jdk)的安装目录
/usr/java/jdk1.8.0_211-amd64/bin/java
/usr/java/jdk1.8.0_211-amd64/jre/bin/java
[root@localhost ~]# 

2. Настройте переменные среды

Используйте команду vi для изменения файла .bash_profile в корневом домашнем каталоге.

[root@localhost ~]# vi .bash_profile

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs
#java环境变量
JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
#java环境变量加入到path中
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

export JAVA_HOME
export PATH
~                                                                                                                                                                                    #先按下键盘左上角的esc建 ,然后按住shift输入:(冒号),在输入wq!(强制保存)
:wq!
[root@localhost ~]# vi .bash_profile
#使用source命令使配置的环境变量生效
[root@localhost ~]# source .bash_profile
#使用java -version命令查看java环境变量配置是否成功
[root@localhost ~]# java -version
#显示java version "1.8.0_211" 表示java环境变量(JAVA_HOME)已经配置成功.
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
[root@localhost ~]# 

9. Настройте синхронизацию времени

Позже, при построении кластера больших данных, время между каждым узлом должно быть одинаковым, поэтому нам нужно синхронизировать время между узлом и центром времени при построении кластера.

9.1 Установите программное обеспечение для синхронизации времени

Используйте команду: yum install -y ntpdate для установки программного обеспечения для синхронизации времени (yum — это онлайн-инструмент для установки программного обеспечения под Linux, вы можете использовать его просто, мы объясним это в последующих курсах.)

[root@localhost ~]# yum install -y ntpdate
Loaded plugins: fastestmirror
Determining fastest mirrors
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.tuna.tsinghua.edu.cn
 * updates: mirrors.tuna.tsinghua.edu.cn
base                                                                     | 3.6 kB  00:00:00     
extras                                                                   | 3.4 kB  00:00:00     
.
.
.


Complete!

在这里插入图片描述

在这里插入图片描述

9.2 Настройка синхронизации времени

#使用crontab  -e命令添加定时时间同步配置
[root@localhost ~]# crontab  -e   
#执行crontab -e命令后,按键盘上的字母i进入编辑模式,输入一下内容,然后按一下键盘左上角的esc进行命令模式,按主shift输入:(冒号),在输入wq!回车完成保存.
#以下配置的意思是每分钟同步一次时间
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
~                                                                                                                                                                                            
:wq!

#等待一分钟左右使用date命令查看系统时间是否同步
[root@localhost ~]# date
Sun Jun 30 10:51:17 CST 2019
[root@localhost ~]# 

10. Устанавливаем сетевые инструменты net-tools

net-tools — это инструмент для устранения неполадок в сети под системой linux, мы часто используем его для проверки работы сети кластера на работе.

[root@localhost ~]# yum install -y net-tools
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.tuna.tsinghua.edu.cn
 * extras: mirrors.tuna.tsinghua.edu.cn
 * updates: mirrors.tuna.tsinghua.edu.cn
Resolving Dependencies
--> Running transaction check
---> Package net-tools.x86_64 0:2.0-0.24.20131004git.el7 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

================================================================================================
 Package             Arch             Version                              Repository      Size
================================================================================================
Installing:
 net-tools           x86_64           2.0-0.24.20131004git.el7             base           306 k

Transaction Summary
================================================================================================
Install  1 Package

Total download size: 306 k
Installed size: 918 k
Downloading packages:
net-tools-2.0-0.24.20131004git.el7.x86_64.rpm                            | 306 kB  00:00:00     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : net-tools-2.0-0.24.20131004git.el7.x86_64                                    1/1 
  Verifying  : net-tools-2.0-0.24.20131004git.el7.x86_64                                    1/1 

Installed:
  net-tools.x86_64 0:2.0-0.24.20131004git.el7                                                   

Complete!
[root@localhost ~]# 

11. Клонируйте виртуальную машину

Чтобы убедиться, что конфигурация всех наших машинных сред согласована, нам нужно клонировать виртуальную машину, В то же время нам нужно установить операционную систему linux только на одну виртуальную машину, и система linux также установлена ​​​​на клонированная машина, которая экономит нам время на повторную установку системы Linux и в то же время уменьшает ошибку несогласованной конфигурации между нашими несколькими хост-системами.

Пока нам нужно построить кластер из трех машин, а нам нужно три машины. Мы клонировали три с одной машины.

11.1 Завершите работу текущей виртуальной машины

Клонирование виртуальной машины требует завершения работы текущей виртуальной машины.

[root@localhost ~]# init 0 #输入init 0 完成后回车

在这里插入图片描述

Как показано на рисунке ниже, в это время мы обнаружим, что сеанс basecentos соединения xshell был закрыт.

在这里插入图片描述

11.2 Клонировать виртуальную машину

Переключитесь на основной интерфейс нашего программного обеспечения для управления виртуальными машинами VMware Workstation, выполните следующие действия, чтобы продолжить.

1. Как показано ниже, в BaseCentos7

在这里插入图片描述

Как показано ниже, нажмите «Далее».

在这里插入图片描述

Как показано ниже, нажмите «Далее».

在这里插入图片描述

Как показано ниже, нажмите «Далее».

在这里插入图片描述

Как показано на рисунке ниже, введите имя виртуальной машины и выберите путь хранения первой виртуальной машины C:\myprogram\3nodesvm\node1(Если путь не существует, установите такую ​​иерархию путей, чтобы создать ее самостоятельно.)

在这里插入图片描述

Как показано ниже, нажмите «Закрыть», чтобы завершить клонирование.

在这里插入图片描述

Чтобы завершить операцию клонирования виртуальной машины, мы используем тот же метод, что и выше, для клонирования двух виртуальных машин node2 и node3.После завершения операции, как показано на рисунке ниже, мы можем обнаружить, что три виртуальные машины были полностью созданный.

在这里插入图片描述