pyspark: среда кластера пряжи — сборка и использование

Spark
pyspark: среда кластера пряжи — сборка и использование

1/Распаковать

tar -zxvf spark-2.3.1-bin-hadoop2.6.tgz
mv spark-2.3.1-bin-hadoop2.6 spark-2.3.1

2/ Измените имя файла

mv slaves.template slaves

3/ Измените имя файла

mv spark-env.sh.template spark-env.sh
编辑spark-env.sh文件，进行配置：

4/ Отредактируйте файл spark-env.sh, чтобы настроить:

JAVA_HOME:配置java_home路径
SPARK_MASTER_HOST:master的ip
SPARK_MASTER_PORT:提交任务的端口，默认是7077
SPARK_WORKER_CORES：每个worker从节点能够支配的core的个数
SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存数

5/Синхронизация с другими узлами

scp -r spark-2.3.1 node2:`pwd`
scp -r spark-2.3.1 node3:`pwd`

запустить кластер

Войдите в каталог sbin и выполните ./start-all.sh в текущем каталоге.

Мастер доступа: порт 8080

пряжа Шаги 1, 2, 3, 4, 5 и 7 синхронизированы с автономным режимом. Необходимо изменить /spark-2.3.1/conf/spark-env.sh

HADOOP_CONF_DIR=/opt/источник/hadoop-2.6.5/etc/hadoop 1 Автономная команда отправки:

./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi …/examples/jars/spark-examples_2.11-2.3.1.jar 100

Команда фиксации YARN:

./spark-submit --master yarn --class org.apache.spark.examples.SparkPi …/examples/jars/spark-examples_2.11-2.3.1.jar 100

Примечание. Когда пряжа запущена, если операция не удалась, вы увидите следующие журналы в веб-интерфейсе пряжи:

То есть: Текущее использование: 176,6 МБ из 1 ГБ физической памяти используется 2,3 ГБ из 2,1 ГБ виртуальной памяти Уничтожение контейнера Эта ошибка означает нехватку виртуальной памяти, которая может быть решена двумя способами:

Увеличьте соотношение виртуальной памяти:

yarn.nodemanager.vmem-pmem-ratio по умолчанию в 2,1 раза

Или отключите проверку виртуальной памяти:

yarn.nodemanager.vmem-check-enabled по умолчанию true

emanager.vmem-pmem-ratio по умолчанию равен 2,1 раза.

Или отключите проверку виртуальной памяти:

yarn.nodemanager.vmem-check-enabled по умолчанию true

Вышеуказанные две конфигурации настраиваются в yarn-site.xml.После настройки перезапустите пряжу. стоп-пряжа.ш -> старт-пряжа.ш ——————————————— Заявление об авторских правах: эта статья является оригинальной статьей блоггера CSDN "SH заканчивается смертью" и соответствует соглашению об авторских правах CC 4.0 BY-SA. Пожалуйста, приложите ссылку на оригинальный источник и это заявление для перепечатки. Оригинальная ссылка:blog.CSDN.net/QQ_39139295…

Категории