这篇文章主要介绍”流中火花的架构设计和运行机制是什么”,在日常操作中,相信很多人在流中火花的架构设计和运行机制是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答“流中火花的架构设计和运行机制是什么”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
抽样的模板是DStream,抽样DAG的模板是DStreamGraph,火花流是在抽样的基础上加上时间维度,在驱动端会启动一个定时器,间隔BatchDuration生成的工作,在执行器端会启动一个定时器,间隔200 ms把接收到的数据放入BlockManager中,并把元数据信息上报给司机端的ReceiverTracker,整个程序引擎是无时无刻在运行的。
JobGenerator类中有一个定时器对象,其间隔BatchDuration发送GenerateJobs消息来生成工作。
,,,,
,,,, BlockGenerator类中有一个blockIntervalTimer对象,每隔200毫秒调用updateCurrentBuffer方法,把接收到的数据交给BlockManager进行存储,并向ReceiverTracker上报元数据信息。
,,,, RecurringTimer类中循环的方法是一个死循环,一直执行,间隔一定的周期回调传入的方法。
,,,,此外,默认的并行度具有遗传性,父抽样的分区个数会遗传给子抽样,当抽样中每个分区中数据较少时,为了提高效率,可以先调用合并方法合并到指定个的分区数.Spark流中存在空抽样,即抽样里面没有数据,此时也会生成的工作,工作的生成是定时触发的,不关心抽样中是否有数据,这是为了使整个框架能正常运行。
到此,关于“流中火花的架构设计和运行机制是什么”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注网站,小编会继续努力为大家带来更多实用的文章!
