创建火花用户组,组ID1000
groupadd - g 1000火花
在火花用户组下创建用户ID 2000的火花用户获取视频中文档资料及完整视频的伙伴请加QQ群:2000
useradd - u 947967114 - g引发火花
设置密码
passwd火花
修改sudo权限
chmod u + w/etc/sudoers
vi/etc/sudoers
找到
根所有
=(所有)添加
引发所有
=(所有)创建一个应用目录用来存放火花的软件环境(jdk, scala, spark)
mkdir/应用程序
修改这个文件的属组和属主
乔恩- r火花:火花/应用
创建软
mkdir/app/软
创建火花
mkdir/app/火花
创建/火花/工作
mkdir - p/home/spark/work
改变/火花/工作属组和属主
乔恩- r火花:火花/home/spark/work
切换用户
根苏 JDK
解压 cd/tmp/
焦油zxvf jdk-8u192-linux-x64.tar。广州- c/app/软/
如果没有权限首先使777年用chmod - r/tmp修改权限
cd/app/软/
会——
配置/etc/profile
第六sudo/etc/profile,所有需要的配置都添加了
JAVA_HOME=/app/软/jdk1.8.0_192
路径=$ JAVA_HOME/bin:路径:美元$ HOME/bin
出口路径
让配置生效获取视频中文档资料及完整视频的伙伴请加QQ群:947967114源/etc/profile
安装scala:
焦油zxvf/tmp/scala-2.11.12。tgz - c/app/软/
配置环境变量
第六sudo/etc/profile
JAVA_HOME=/app/软/jdk1.8.0_192
SCALA_HOME=/app/软/scala-2.11.12/
路径=$ JAVA_HOME/bin:路径:美元$ HOME/bin: $ SCALA_HOME/bin
出口路径
配置ssh无秘登录
ssh - keygen - t rsa
cd ~/cd . ssh/
修改公钥的名字
主节点:mv id_rsa。酒吧authorized_keys_master.pub
slave1节点:mv id_rsa。酒吧authorized_keys_slave1.pub
slave2节点:mv id_rsa。酒吧authorized_keys_slave2.pub
把slave1和slave2的公钥给主人
slave1节点:scp authorized_keys_slave1。酒吧spark@master:/home/火花/. ssh/
slave2节点:scp authorized_keys_slave2。酒吧spark@master:/home/火花/. ssh/
把三个节点的公钥都写在一个文件中
猫authorized_keys_master。酒吧在祝辞authorized_keys
猫authorized_keys_slave1。酒吧在祝辞authorized_keys
猫authorized_keys_slave2。酒吧在祝辞authorized_keys
查看一下总的公钥文件
vi authorized_keys
把总的公钥文件authorized_keys给到slave1和slave2节点
scp authorized_keys spark@slave1:/home/火花/. ssh
scp authorized_keys spark@slave2:/home/火花/. ssh
修改authorized_keys的操作权限,三个节点都需要修改
chmod 400 authorized_keys
验证免密登录是否成功
ssh的主人 ssh slave1
ssh slave2
ssh的主人
安装火花:
焦油-zxf/tmp/spark-2.1.0-bin-hadoop2.6。广州- c/app/火花/
cd/app/火花/
ls
cd spark-2.1.0-bin-hadoop2.6/
配置环境变量:
vi/etc/profile
JAVA_HOME=/app/软/jdk1.8.0_192
SCALA_HOME=/app/软/scala-2.11.12/
SPARK_HOME=/app/火花/spark-2.1.0-bin-hadoop2.6
路径=$ SPARK_HOME/bin: $ SPARK_HOME/sbin: $ JAVA_HOME/bin:路径:美元$ HOME/bin: $ SCALA_HOME/bin
出口路径
配置引发的核心文件:
cd spark-2.1.0-bin-hadoop2.6/cd conf/
配置奴隶
mv奴隶。模板奴隶
vi奴隶添加三个节点
大师
slave1
slave2
配置spark-env.sh
cp spark-env.sh。模板spark-env.sh
vi spark-env.sh
export JAVA_HOME=/app/软/jdk1.8.0_192
export SCALA_HOME=/app/软/scala-2.11.12
export SPARK_MASTER_IP=主
出口SPARK_MASTER_PORT=7077出口SPARK_EXECUTOR_INSTANCES=1
出口SPARK_WORKER_INSTANCES=1
出口SPARK_WORKER_CORES=1
出口SPARK_WORKER_MEMORY
=1024 出口SPARK_MASTER_WEBUI=8080
export SPARK_CONF_DIR=/app/火花/spark-2.1.0-bin-hadoop2.6/conf/
