火花属性的配置方式有哪些

　　介绍

今天就跟大家聊聊有关火花属性的配置方式有哪些,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

1,火花属性:这个可以控制应用程序的绝大部分属性。并且可以通过SparkConf对象或者Java系统属性进行设置;

2,环境变量(环境变量):这个可以分别对每台机器进行相应的设置,比如IP。这个可以在每台机器的SPARK_HOME/conf/spark-env美元。sh脚本中进行设置;
3日志:所有的日志相关的属性可以在log4j。属性文件中进行设置。

<强>下面对这三种属性设定进行详细的说明。

<强>一、火花属性

火花属性可以控制应用程序的绝大部分属性,并且可以分别在每个应用上进行设置。这些属性可以直接在SparkConf对象上设定,该对象可以传递给SparkContext.SparkConf对象允许你去设定一些通用的属性(比如大师URL,应用的名称等),这些属性可以传递给组()方法的任意键-值对。如下:

瓦尔 　　conf =new  SparkConf () 　　,,,,,,.setMaster (“local") 　　,,,,,,.setAppName (“CountingSheep") 　　,,,,,,这里(“spark.executor.memory",,“1 g") 　　瓦尔 　　sc =new  SparkContext(参看)

<强>动态加载火花属性

在一些场景中,你可能想避免在代码中将SparkConf对象的属性进行设死,比如,你可能想在不同的主人上面或者不同内存容量运行你的应用程序。这就需要你运行程序的时候进行设置,火花允许你创建一个空的设计及其对象,如下:

瓦尔 　　sc =new  SparkContext(新 　　SparkConf ())

然后你可以在运行的时候通过命令行进行一些属性的配置:

/bin/spark-submit ——name “My  app" 　　,,,,,,,,,,,,,,master 当地[4] 　　,,,,,,,,,,,,,,conf  spark.shuffle.spill=false 　　,,,,,,,,,,,,,,conf “spark.executor.extraJavaOptions=- xx: + PrintGCDetails 　　,,,,,,,,,,,,,,,,,,,- xx: + PrintGCTimeStamps" 　　,,,,,,,,,,,,myApp。jar

引发壳和spark-submit工具支持两种方式来动态加载配置属性第。一种是命令行方式,比如——主;spark-submit工具可以通过——配置标记接收任何的火花属性。运行。/bin/spark-submit——帮助将会显示全部的选项。

。/bin/spark-submit工具也会从conf/spark-defaults。参看配置文件中读取配置选项。在conf/spark-defaults。参看配置文件中,每行是键值对,中间可以是用空格进行分割,也可以直接用等号进行分割。如下:

spark.master ,,,,,火花://iteblog.com: 7077 　　spark.executor.memory  512米 　　spark.eventLog.enabled 真正的 　　spark.serializer ,, org.apache.spark.serializer。KryoSerializ

每个值将作为一个旗帜传递到应用中并个SparkConf对象中相应的属性进行合并。通过SparkConf对象配置的属性优先级最高;其次是对spark-submit或spark-shell通过国旗配置;最后是spark-defaults。参看文件中的配置。

<强>哪里可以查看配置好的火花属性

在应用程序对应的WEB UI (http://

<强>二、环境变量

有很大一部分的火花设定可以通过环境变量来进行设定。这些环境变量设定在conf/spark-env。sh脚本文件中(如果你是windows系统,那么这个文件名称是conf/spark-env。cmd)。在独立和便模式下,这个文件可以设定一些和机器相关的信息(比如主机名)。

需要注意,在刚刚安装的火花中conf/spark-env.sh文件是不存在的。但是你可以通过复制conf/spark-env.sh。模板文件来创建,你的确保这个复制之后的文件是可运行的。

<强> <强>下面的属性是可以在conf/spark-env。上海文件中配置

JAVA_HOME  Java的安装目录 　　PYSPARK_PYTHON  Python  binary  executable 用use  for  PySpark。 　　SPARK_LOCAL_IP  IP  address  of 从而machine 用bind 。 　　SPARK_PUBLIC_DNS  Hostname  your  Spark  program  will  advertise 用other 机器。

火花属性的配置方式有哪些