蜂巢中顺序,排序,分发,集群的作用以及用法 - 行业资讯 - 肥雀云

,,蜂巢中的order by跟传统的sql语言中的秩序　　通过作用是一样的,会对查询的结果做一次全局排序,所以说,只有蜂巢的sql中制定了秩序　　由所有的数据都会到同一个减速机进行处理(不管有多少地图,也不管文件有多少的块只会启动一个减速器)。但是对于大量数据这　　将会消耗很长的时间去执行。

,, 　　这里跟传统的sql还有一点区别:如果指定了hive.mapred.mode=严格(默认值是nonstrict),这时就必须指定限制　　来限制输出条数,原因是:所有的数据都会在同一个减速机端进行,数据量大的情况下可能不能出结果,那么在这样的严格模式下,必须指定输出的条数,

排序,,蜂巢中指定了　　,那么在每个减速机端都会做排序,也就是说保证了局部有序(每个减速机出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个减速机),好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率(其实就是做一次归并排序就可以做到全局排序了)。

,,由是ditribute控制地图的输出在减速器是如何划分的,举个例子,我们有一张表,中期是指这个商店所属的商户,钱是这个商户的盈利,名字是这个商店的名字

存储:

midmoneynameAA15.0商店1 aa20.0商店2 bb22.0商店3 cc44.0商店4

,,执行蜂巢语句:

select 中期,,钱,,name 得到store distribute by mid sort by mid asc,, money asc

我　　们所有的中期相同的数据会被送到同一个减速器去处理,这就是因为指定了分发　　中期,这样的话就可以统计出每个商户中各个商店盈利的排序了(这个肯定是全局有序的,因为相同的商户会放到同一个减速器去处理)。这里需要注意　　的是分发,必须要写在排序之前。

,,集群通过的功能就是分发通过和排序相结合,如下2个语句是等价的:

,,,

select 中期,,钱,,name 得到store cluster by 中期　　select 中期,钱,,name 得到store distribute by mid sort by 中期

,,如果需要获得与3中语句一样的效果:

select 中期,,钱,,name 得到store cluster by mid sort by 钱

,,注意指被集群的定的列只能是降序,不能指定asc和desc。