火花流与风暴都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一
就是,打流和暴风雨的计算模型完全不一样,火花流是基于抽样的,因此需要将一小段时间内的,比如1秒内的数据,收集起来,作为一个抽样。然后再针对这个批处理的数据进行处理,而风暴却可以做到每来一条数据,都可以立即进行处理和计算,因此,火花流实际上严格意义上来说,只能称作准实时的流计算框架,而风暴是真正意义上的实时计算框架。
此外,风暴支持的一项高级特性,是引发Streamng暂时不具备的,即风暴支持在分布式流式计算程序(拓扑)在运行过程中,可以动态地调整并行度。从而动态提高并发处理能力。而SparkSreaming是无法动态调整并行度的。
但是火花流也有其优点,首先火花流由于是基Fbatch进行处理的,因此相较于暴风雨基于单条数据进行处理,具有数倍甚至效十倍的吞吐量。
此外,火花流由于也身处于火花生态圈内,因此火花流可以与Core.SparkSQl火花。甚至是火花MLuib火花GraphX进行无维整合。流式处理完的数据,可以立即进行各种购Bmap。减少转换操作,可以立即使用sqi进行查询,甚至可以立即使用machne薄层或者图计算算法进行处理。这种一站式的大数据处理功能和优势,是Slorm无法匹敌的。
因此,综合上述来看,通常在对实时性要求特别高,而且实时数据量不稳定,比如在白天有高峰期的情况下,可以选择使用风暴。但是如果是对实时性要求一般,允许1秒的准实时处理,而且不要求动态调被并行度的话,选择火花Streamng是更好的选择。
火花SQL实际上并不能完全替代蜂巢。因为蜂巢是一种基FHDFS的数据仓库,并且提供了基于QL模型的,针对存储了大数据的数据仓库,进行分布式交互查询的查询引擎。
严格的来说,火花SQL能够替代的,是蜂巢的查询引擎,而不是蜂巢本身,实际上即使在生产环境火花SQL也是针对蜂巢数据仓库中的数据进行查询,火花本身自己是不提供存储的,自然也不可能参代蜂巢作为数据仓库的这个功能。
火花SQL的一个优点,相较于蜂巢查询引擎来说,就是速度快,同样的SQL语句,可能使用蜂巢的量询引擎,由于其底层基于MapReduce。必须经过shutfhe过程走进盘,因此速度是非常缓慢的很。多复杂的SQL语句。在蜂巢中执行都需要一个小时以上的时间。而SparkSQL由于其底层基干Spak自身的基于内存的特点,因此速度达到了蜂巢查询引擎的数倍以上。
但是火花SQL由于与火花一样。是大数据领域的新起的新秀,因此还不够完善,有少量的蜂巢支持的高级特性,火花SQL还不支持,导致火花SQL暂时还不能完全替代蜂巢的查询引擎。而只能在部分火花SQL功能特性可以满足需求的场景下,进行使用。
而引发SQL相较于蜂巢的另外一个优点,就是支持大量不同的数据源,包括hive.json。拼花、jdbc等等。此外,火花SQL由于身处火花技术堆栈内,也是基于抽样来工作,因此可以与火花的其他组件无缝整合使用,配合起来实现许多复杂的功能,比如。火花SQL支持可以直接针对hdts文件执行SQL语句!
MapReduce能够完成的各种离线批处理功能,以及常见算法(比如二次排序,topn等),基于火花抽样的核心编程,都可以实现,并且可以更好地,更容易地实现。而且基于火花抽样编写的高线批处理程序,运行速度是MapReduce的数倍。速度上有非常明显的优势。
火花相较于MapReduce速度快的最主要原因就在于,MapReduce的计算模型太死板,必须是MapReduce模式,有时候即使完成一些诸如过减之类的操作,也必须经过地图减少过程,这样就必须经过shufle过程。而MapReduce的shffle过程是最消耗性能的,因为shuffe中间的过程必须基于进盘来读写。而引发的舒缓虽然也要基于磁盘,但是其大量转化操作,比如单纯的地图或者打击等操作,可以直接基于内存进行管道操作,速度性能自然大大提升。
但是火花也有其劣势。由于火花基于内存进行计算,虽然开发容易,但是真正面对大数据的时候(比如一次操作针对10个亿以上级别),在没有进行调优的情况下,可能会出现各种各样的问题,比如伯父内存溢出等等。导致火花程序可能都无法完全运行起来,就报惜挂掉了,而MapReduce即使是运行缓慢,但是至少可以慢慢运行完。
此外,火花由于是新崛起的技术新秀,因此在大数据领域的完善程度,肯定不如MapReduce。比如基于HBase,蜂巢作为离线批处理程序的输入输出,火花就远设有MapReduce来的完善。实现起来非常麻烦。
