创建表
创建[external<外联祝辞]表log_app_web(日志map<字符串,string>)分区,(int, int, int),
行格式分隔的藏品被\ t的终止,
映射键终止”=按娲⑽奕?
表名:log_app_web
字段:地图类型字段日志
分区:根据年,月,日进行分区,年,月,日
分割使用“\ t”
地图中的KV使用“=?/p>
数据文件存储为ORCFILE格式
根据日期范围查询时使用将分期时间转换成日期的字符串进行范围查询
, concat_ws(‘-’,(作为字符串),lpad((月字符串),2,' 0 '),lpad((天字符串),2,' 0 '))在=" " + format.format (StartDay) +“”,
类似于yyyy-MM-dd祝辞=' 2016-04-28 '
以上是个比较另类的方式,
下面来说下分区转载他人的
一、背景
1,在蜂巢选择查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作,有时候只需要扫描表中关心的一部分数据,因此建表时引入了分区概念。
2,分区表指的是在创建表时指定的分区的分区空间。
3,如果需要创建有分区的表,需要在创建表的时候调用可选参数分区,详见表创建的语法结构。
二、技术细节
1,一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。
2、表和列名不区分大小写。
3分区是以字段的形式在表结构中存在,通过描述表命令可以查看到字段存在,但是该字段不存放实际的数据内容,仅仅是分区的表示。
4,建表的语法(建分区可参见分区由参数):
创建(外部)表(如果不存在)table_name (col_name data_type[评论col_comment],…)][评论table_comment] (分区(col_name data_type[评论col_comment],…)) (集群(col_name、col_name…)[按(col_name (ASC | DESC), …)到num_buckets桶][行格式row_format][存储为 file_format][位置hdfs_path]
5分区建表分为2种,一种是单分区,也就是说在表文件夹目录下只有一级文件夹目录。另外一种是多分区,表文件夹下出现多文件夹嵌套模式。
,单分区建表语句:创建表day_table (int id、内容字符串)分区(dt字符串);单分区表,按天分区,在表结构中存在id、内容、dt三列。
b,双分区建表语句:创建表day_hour_table (int id、内容字符串) 按小时分区(dt字符串,字符串);双分区表,按天和小时分区,在表结构中新增加了dt和小时两列。
,
表文件夹目录示意图(多分区表):
6,添加分区表语法(表已创建,在此基础上添加分区):
ALTER TABLE table_name添加partition_spec(位置“location1”) partition_spec[位置' location2 ']…partition_spec:分区 (partition_col=partition_col_value partition_col=partiton_col_value,…)
用户可以用ALTER TABLE添加分区来向一个表中增加分区。当分区名是字符串时加引号。例:
ALTER TABLE day_table添加分区(dt=' 2008-08-08 ',小时=' 08 ') 位置/道路/pv。txt的分区(dt=' 2008-08-08 ',小时=?9”)的位置 “/道路/pv2.txt”;
7,删除分区语法:
ALTER TABLE table_name partition_spec下降,partition_spec,……
用户可以用ALTER TABLE下降分区来删除分区。分区的元数据和数据将被一并删除。例:
ALTER TABLE day_hour_table下降分区(dt=' 2008-08-08 ',小时=' 09);
8、数据加载进分区表中语法:
加载数据(本地)INPATH filepath”(覆盖)到表的表(分区(partcol1 (val1, val2 partcol2=?)
例:
数据加载INPATH '/user/pv。表day_hour_table txt” 分区(dt=2008 - 08年- 08年,小时=' 08 ');数据加载本地INPATH “华/user//*”表day_hour分区(dt=2010 - 07年- 07);
当数据被加载至表中时,不会对数据进行任何转换.Load操作只是将数据复制至蜂巢表对应的位置。数据加载时在表下自动创建一个目录,文件存放在该分区下。
9日基于分区的查询的语句:
选择day_table。*从day_table day_table.dt>=' 2008-08-08 ';
10,查看分区语句:
hive>显示分区day_hour_table;好的dt=2008-08-08/小时=08 dt=2008-08-08/小时=09 dt=2008-08-09/小时=09年
三,总结
1,在蜂巢中,表中的一个分区对应于表下的一个目录,所有的分区的数据都存储在最字集的目录中。
2,总的说就来分区是辅助查询,缩小查询范围,加快数据的检索速度和对数据按照一定的规格和条件进行管理。
这种比较常见
