简介
为了可以通过WebUI控制台页面来查看具体的运行细节,解决应用程序运行结束,无法继续查看监控集群信息。无法回顾运行的程序细节,配置开启spark.history服务。火花历史服务器可以很好地解决上面的问题。
配置文件位置:
SPARK_HOME美元/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的,我们可以根据火花提供的模板文件新建。
配置参数描述
<代码>火花。主火花://172.20.101.157:7070、172.20.101.164:7070 172.20.101.165:7070 #火花集群的主人节点的ip地址 spark.history.updateInterval #默认值:10,以秒为单位,更新日志相关信息的时间间隔 spark.history.retainedApplications #默认值:50,在内存中保存应用历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。 spark.history.ui.port #默认值:4040年,HistoryServer的web端口 spark.history.ui.acls.enable #默认值:false,授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否,则不做任何检查 spark.eventLog.enabled #默认值:false,是否记录火花事件,用于应用程序在完成后重构webUI spark.eventLog.dir #默认值:文件:///tmp/spark-events,保存日志相关信息的路径,可以是hdfs://开头的hdfs路径,也可以是文件://开头的本地路径,都需要提前创建 spark.eventLog.compress #默认值:false,是否压缩记录火花事件,前提spark.eventLog.enabled为真的,默认使用的是时髦的
本地文件存储日志配置案例:
spark-defaults.conf
<代码>火花。主火花://172.20.101.157:7070、172.20.101.164:7070 172.20.101.165:7070 spark.history.ui。端口18080 spark.history。retainedApplications 10 spark.eventLog.compress真实 spark.eventLog。使真正的 spark.eventLog。dir文件:/数据/sparkhistory spark.history.fs。logDirectory文件:/数据/sparkhistory
启动服务
<代码> SPARK_HOME美元/sbin/start-history-server.sh
访问
<代码>浏览器:http://nodeIP: 18080
