,对于火花而言,如果大家只是想摸一下,熟悉熟悉而已,可以搭建单机的火花,大致步骤如下(我使用VMWare下的Ubuntu 14.04,暂不考虑安全问题,在根下运行):
, 1,安装Ubuntu 14.04,注意装好后需要禁用防火墙(地头禁用),安装SSH服务器,启用根用户
, 2,下载安装jdk - 1.8, scala 2.11.8(需要和火花的jar版本配合下,这个其实不是很必要,练习用),火花,maven(构建用,这里的scala版本需要和火花的一致,否则可能出现ClassNotDef异常)
, 3,在. profile中配置环境变量,如:
,出口SPARK_HOME=/根/spark-2.2.0-bin-hadoop2.7
,出口SPARK_LOCAL_HOST=192.168.162.132
,出口SPARK_MASTER_HOST=192.168.162.132
, 4,启动火花:
, SPARK_HOME美元/sbin/start-master.sh
, #在单机情况下也必须启动,否则没有工人
, SPARK_HOME/sbin/start-slave美元。sh
, 5、使用maven编译一个示例程序(当然sbt也可以)
, 6日提交你的测试程序,如下:
, SPARK_HOME美元/spark-submit——类“类名”——主火花://IP:港口打包文件名
,另外,注意的一点是需要在/etc/主机和/etc/主机名中正确配置主机名,否则可能出现IOException
,
