hadoop&spark安装(下)

　　

上一遍文章中其实最主要的就是JAVA环境变量以及hadoop环境变量的设置,这两个设置好了的话,运行hadoop基本上不会出问题。

在hadoop的基础上安装火花好简单。

安装火花之前需要先安装hadoop集群,因为之前已经安装了hadoop,所以我直接在之前的hadoop集群上安装火花。

硬件环境:

hddcluster1 10.0.0.197 redhat7

hddcluster2 10.0.0.228 centos7,这台作为大师

hddcluster3 10.0.0.202 redhat7

hddcluster4 10.0.0.181 centos7

软件环境:

scala-2.11.7

spark-2.0.2-bin-hadoop2.7。tgz


#所有操作用hadoop

基本流程:

1,主解压scala-2.11.7和spark-2.0.2-bin-hadoop2.7。tgz到相应的目录

2,配置scala和火花环境变量

3,修改配置文件

4,拷贝scala和火花到各个节点,授权

5,启动火花集群

# hadoop用户下操作,下载scala,安装 　　wget  http://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz 　　tar  -zxvf  scala-2.11.7.tgz  　　mv  scala-2.11.7 /usr/地方/scala 　　sudo  mv  scala-2.11.7 /usr/地方/scala 　　vim  .bashrc ,,,, #添加 　　export  SCALA_HOME=/usr/地方/scala 　　export 路径=$路径:$ HADOOP_HOME/sbin: $ HADOOP_HOME/bin: $ SCALA_HOME/bin 　　source  . bashrc 　　(hadoop@hddcluster2  ~),美元scala  - version 　　Scala  code  runner  version  2.11.7 ——, Copyright  2002 - 2013年,灯/EPFL #在官网下载spark-2.0.2-bin-hadoop2.7.tgz 　　tar  -zxvf  spark-2.0.2-bin-hadoop2.7.tgz 　　mv  spark-2.0.2-bin-hadoop2.7 火花 　　sudo  mv  spark /usr/地方/vim  .bashrc ,, #添加 　　export  SPARK_HOME=/usr/地方/火花 　　export 路径=$路径:$ HADOOP_HOME/sbin: $ HADOOP_HOME/bin: SCALA_HOME/bin:美元SPARK_HOME #修改火花配置文件 　　cd /usr/地方/conf/火花 　　cp  spark-env.sh.template  spark-env.sh 　　vi  spark-env.sh ,, #添加下面内容 　　# # # jdk  dir 　　 　　export  JAVA_HOME=/usr/lib/jvm/java - 1.8.0 openjdk 1.8.0.111 b15.el7_3.x86_64——2. 　　 　　# # # scala  dir 　　 　　export  SCALA_HOME=/usr/地方/scala 　　 　　# # #,ip  of  master  node  of 火花 　　 　　export  SPARK_MASTER_IP=10.0.0.228 　　 　　# # #,max  memory  size  of 工人 　　 　　export  SPARK_WORKER_MEMORY=8 g 　　 　　# # # hadoop  configuration  file  dir 　　 　　export  HADOOP_CONF_DIR=/usr/地方/hadoop/etc/hadoop/#修改奴隶 　　cp  slaves.template 奴隶 　　vi  slaves ,, #把localhost改为下面内容 　　hddcluster1 　　hddcluster2 　　hddcluster3 　　hddcluster4 
 。启动火花集群:
　　
　　启动火花之前需要先将hadoop的dfs以及纱线启动。/usr/local/spark/sbin/start-all.sh
　　,启动所有服务之后,在命令行输入译本:
　　[hadoop@hddcluster2  ~]美元译本
　　29601,ResourceManager
　　32098,SparkSubmit
　　29188,DataNode
　　29364,SecondaryNameNode
　　29062,然后
　　29915,NodeManager
　　30251,主
　　30380,工人
　　30062,JobHistoryServer
　　18767,译本
　　,比hadoop集群启动时多了主人和工人/usr/local/spark/bin/spark-shell.sh
　　出现scala>时说明成功。
　　在浏览器中输入10.0.0.228:8080时,会看到如下图,有4个工人
hadoop&spark安装(下)