火花1。X独立和纱安装配置

　　


安装JDK 1.7以上Hadoop 2.7.0不支持JDK1.6,火花1.5.0开始不支持JDK 1.6

安装Scala 2.10.4

安装Hadoop 2. x 至少HDFS



spark-env。sh



export  JAVA_HOME=export  SCALA_HOME=export  HADOOP_CONF_DIR=/opt/模块/hadoop-2.2.0/etc/hadoop //运行在纱线上必须要指定 　　 　　export  SPARK_MASTER_IP=server1 　　 　　export  SPARK_MASTER_PORT=8888 　　 　　export  SPARK_MASTER_WEBUI_PORT=8080 　　 　　export  SPARK_WORKER_CORES=export  SPARK_WORKER_INSTANCES=1 　　 　　export  SPARK_WORKER_MEMORY=26 g 　　 　　export  SPARK_WORKER_PORT=7078 　　 　　export  SPARK_WORKER_WEBUI_PORT=8081 　　 　　export  SPARK_JAVA_OPTS=" - verbose: gc  - xx: -PrintGCDetails  - xx: PrintGCTimeStamps”


奴隶指定工人节点

xx.xx.xx.2 　　xx.xx.xx.3 　　xx.xx.xx.4 　　xx.xx.xx。5


运行spark-submit时默认的属性从spark-defaults.conf文件读取

spark-defaults。参看

 
 
 
 
 
针对驱动程序(SparkContext)的客户机(本地),集群(集群)
 
默认是客户的,SparkContext运行在本地,如果改成集群则SparkContext运行在集群上
 
, SparkContext运行在应用程序主
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 spark-shell快速启动链接
 
 http://spark.apache.org/docs/latest/quick-start.html 
 
 
 
 
火花1。X独立和纱安装配置