火花启动历史任务查看

火花历史任务查看需要一下配置:


<李>

修改spark-defaults。参看配置文件

<李>

,spark.eventLog。启用,,,,,,真正的

<李>

,spark.eventLog。dir,,,,,,,,,,,hdfs://192.168.9.110:9000/事件日志

<李>

,spark.eventLog.compress,,,,李,真正的

<李>

修改spark-env。sh配置文件

<李>

出口SPARK_HISTORY_OPTS=" -Dspark.history.ui。=18080 -Dspark.history港。retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs”

<李>

以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息,所以需要提前在hdfs中新建这两个目录,hdfs://192.168.9.110:9000/事件日志和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs

<李>

进入hadoop的本目录命令:,cd/数据/服务器/hadoop-2.6.0/bin

<李>

新建hdfs://192.168.9.110:9000/事件日志命令:,。/hadoop dfs mkdir/事件日志

<李>

新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令:,。/hadoop dfs mkdir/sparkHistoryLogs

<李>

重启火花集群

<李>

启动历史任务进程

<李>

sbin/start-history-server。李sh

<李>

历史任务进程启动验证

<李>

执行jps命令,出现HistoryServer进程

<李>

查看历史任务Web UI

<李>

http://192.168.9.110:18080

火花启动历史任务查看