火花集群使用hadoop用户运行,集群机器如下:1 dev-hadoop-01192.168.9.110master2dev-hadoop-02192.168.9.111worker3dev-hadoop-03192.168.9.112worker
现在需要添加一台192.168.9.113机器名DEV-HADOOP-04的节点作为工人。需要执行一下操作:
- <李>
配置主到新增节点hadoop用户的无密码登录
李> <李>每个节点添加的/etc/hosts
李> <李>安装
李> <李>
- <李>
李> <李>
设置环境变量,
- <李>
export SCALA_HOME=/usr/scala scala-2.11.7
李> <李>使配置生效源/etc/profile
李>更改scala-2.11.7的用户和组,乔恩- r hadoop: hadoop scala-2.11.7
李>安装火花
- <李>
从主拷贝spark scp - r spark-1.5.0-bin-hadoop2.6 root@192.168.9.113:/数据/服务器/
李> <李>配置环境变量/etc/profile
- <李>
export SPARK_HOME=/数据/服务器/spark-1.5.0-bin-hadoop2.6
李> <李>出口路径=$路径:$ SPARK_HOME/bin: $ SPARK_HOME/sbin
李> <李>使配置生效,源/etc/profile
李>修改集群的奴隶配置文件,新增新增节点DEV-HADOOP-03
李> <李>启动新增节点
- <李>
sbin/start-slave。sh火花://DEV-HADOOP-01:7077
李>新增节点启动验证
- <李>
李>
- <李>