标题:DKhadoop大数据处理平台监控数据介绍
2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠.Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。
DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载,集群磁盘使用情况,HDFS监控界面,Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。
1,纱监控界面
(1)执行失败的应用程序
监控纱资源管理中总执行失败的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(2)已提交的应用程序
监控纱资源管理中已提交的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(3)正在运行的应用程序
监控纱资源管理中正在运行的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(4)等待执行的应用程序
监控纱资源管理中等待执行的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(5)已完成的应用程序
监控纱资源管理中已完成的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(6)被杀死的应用程序
监控纱资源管理中被杀死的应用程序数量
纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
2,火花监控界面
注意:(火花运行任务后才有监控数据)
(1)最大可使用内存
监控火花集群中最大可使用的内存
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(2)已使用的内存
监控火花集群中已经使用的内存
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(3)剩余内存
监控火花集群中剩余的内存
纵轴表示内存容量,单位(MB)
横轴表示时间,单位分钟
(4)火花中任务数量
监控火花集群中任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(5)火花中正在运行的任务数量
监控火花中正在运行的任务数量
纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(6)正在运行的阶段数量
监控火花集群中正在运行的阶段数量
纵轴表示阶段数量,单位个
横轴表示时间,单位分钟