火花动态添加节点

火花集群使用hadoop用户运行,集群机器如下:1 dev-hadoop-01192.168.9.110master2dev-hadoop-02192.168.9.111worker3dev-hadoop-03192.168.9.112worker


现在需要添加一台192.168.9.113机器名DEV-HADOOP-04的节点作为工人。需要执行一下操作:


<李>

配置主到新增节点hadoop用户的无密码登录

<李>

每个节点添加的/etc/hosts

<李>

安装

<李>

<李>

<李>

设置环境变量,

<李>

export SCALA_HOME=/usr/scala scala-2.11.7

<李>

使配置生效源/etc/profile

<李>

更改scala-2.11.7的用户和组,乔恩- r hadoop: hadoop scala-2.11.7

<李>

安装火花

<李>

从主拷贝spark  scp - r spark-1.5.0-bin-hadoop2.6 root@192.168.9.113:/数据/服务器/

<李>

配置环境变量/etc/profile

<李>

export SPARK_HOME=/数据/服务器/spark-1.5.0-bin-hadoop2.6

<李>

出口路径=$路径:$ SPARK_HOME/bin: $ SPARK_HOME/sbin

<李>

使配置生效,源/etc/profile

<李>

修改集群的奴隶配置文件,新增新增节点DEV-HADOOP-03

<李>

启动新增节点

<李>

sbin/start-slave。sh火花://DEV-HADOOP-01:7077

<李>

新增节点启动验证

<李>

<李>

<李>



火花动态添加节点