火花入门指南

　　

sudo  useradd  -m  hadoop  -s /bin/bash

sudo  passwd  hadoop

sudo  adduser  hadoop  sudo


sudo  apt-get 更新

,,,

sudo  apt-get  install  openssh服务器

ssh  localhost

sudo  tar  -zxf  ~/hadoop-2.9.0.tar.gz 　　cd /usr/地方/sudo  mv 。/hadoop-2.9.0/,/hadoop ,,, #将文件名修改为hadoop 　　sudo  chown  -R  hadoop 。/hadoop ,,, #修改文件权限

cd /usr/地方/hadoop/bin/hadoop 版本

火花入门指南”> <br/> </p> <p> </p> <p> </p> <p> </p> <p> </p> <p> </p> <p> <img src=

,美元sudo  tar  -zxf  ~/下载/spark-2.3.1-bin-without-hadoop.tgz  -C /usr/地方/美元,cd /usr/当地 　　美元,sudo  mv /spark-2.3.1-bin-without-hadoop/,/火花 　　美元,sudo  chown  -R  hadoop: hadoop 。/火花

,,

,美元cd /usr/地方/火花 　　美元/conf/spark-env.sh.template 。/conf/spark-env。sh


,美元/conf/spark-env vim 。sh


export  SPARK_DIST_CLASSPATH=$ (/usr/地方/hadoop/bin/hadoop 类路径)

,,,,

,,,

在祝辞祝辞文本=sc.textFile(“文件\ \ \ usr \本地\ \ exp \ test1.txt"火花。)
　　祝辞祝辞祝辞print 文本

火花入门指南

在祝辞祝辞,wc =, words.map (lambda  x:, (x, 1)) 　　祝辞祝辞祝辞,print  wc.toDebugString ()

火花入门指南

在祝辞祝辞,counts =, wc.reduceByKey(添加) 　　祝辞祝辞祝辞,counts.saveAsTextFile (“wc")

火花入门指南”> <br/> </p> <p> </p> <p> </p> <p> </p> <p> </p> <p> </强> </p> <p> </强> </p> <p> </强> </p> <p> </强> </p> <p> </p> <p> </p> <p> </p> <p> </p> <pre类=,在祝辞祝辞sc.parallelize([& # 39;猫# 39;& # 39;苹果# 39;,& # 39;蝙蝠'])


在祝辞祝辞sc.textFile(“文件\ \ \ usr \本地\ \ README.md火花”)


<强>

在祝辞祝辞,broadcastAList =, sc.broadcast(列表([“a",,“b",,“c",,“d",,“e"]))




火花入门指南