HDFS启用SSD存储
1。配置HDFS的数据节点
(磁盘)/hadoop/hdfs数据,(SSD)/hadoop/hdfs/SSD
4。创建表空间
psql
<代码>创建表空间ts_tpc_h文件空间fs_tpc_h; 代码>
5。查看当前所有表空间
<代码>选择spcname tblspc, fsname filespc, fsedbid seg_dbid, fselocation datadir 从pg_tablespace页面表,pg_filespace pgf, pg_filespace_entry pgfse pgts.spcfsoid=pgfse.fsefsoid 和pgfse.fsefsoid=pgfs.oid ORDER BY tblspc seg_dbid; 代码>
干创建表
1。建表
<代码>创建表区域( r_regionkey整数, r_name char (25), r_comment varchar (152), r_extra char (1) )与(appendonly=true,取向=拼花,compresstype=时髦的) 表空间ts_tpc_h 分布式(r_regionkey); 代码>
2。查看表使用的表空间
<代码>选择c。relname d。dat2tablespace tablespace_id d。oid database_id c。relfilenode table_id 从pg_database d, pg_class c, pg_namespace n 在c。relnamespace=n.oid 和d。datname=current_database () 和n。nspname=' qbyps ' 和c。relname=皃”; 代码>
<代码>选择pgf。oid fs_id页面表。oid ts_id, spcname tblspc, fsname filespc, fsedbid seg_dbid, fselocation datadir 从pg_tablespace页面表,pg_filespace pgf, pg_filespace_entry pgfse pgts.spcfsoid=pgfse.fsefsoid 和pgfse.fsefsoid=pgfs.oid ORDER BY tblspc seg_dbid; 代码>
维护
干使用libhdfs3.so的API访问HDFS,目前不支持存储策略,因此,需要对写入后的数据进行维护。
<代码> hdfs推动者- p/ssd fs_tpc_h 代码>
附录:
存储策略命令
列出所有存储策略
<代码> hdfs storagepolicies -listPolicies 代码>
设置存储策略
<代码> hdfs storagepolicies -setStoragePolicy路径& lt; path>政策& lt; policy> 代码>
例如
<代码> hdfs storagepolicies -setStoragePolicy路径/tmp政策ALL_SSD 代码>
取消存储策略
<代码> hdfs storagepolicies -unsetStoragePolicy路径& lt; path> 代码>
之后该目录或者文件,以其上级的目录为准,如果是根目录,那么就是热
获取存取策略
<代码> hdfs storagepolicies -getStoragePolicy路径& lt; path> 代码>