Apache干创建使用SSD磁盘的表

  

HDFS启用SSD存储

  

1。配置HDFS的数据节点

  

(磁盘)/hadoop/hdfs数据,(SSD)/hadoop/hdfs/SSD

  

 Apache干创建使用SSD磁盘的表“> <br/>在所有的数据节点上挂载SSD盘到路径/hadoop/hdfs/SSD下<br/>并保证/hadoop/hdfs/SSD路径的所有者为hdfs: hadoop </p>
  <pre> <代码> drwxr-x hdfs hadoop - - - 4096 10月17日19:10/hadoop/hdfs/ssd </代码> </pre>
  <p>重启数据节点</p>
  <h3> 2。创建使用ssd的hdfs路径</h3>
  <pre> <代码> hdfs dfs mkdir/ssd </代码> </pre>
  <h3> 3。设置/ssd的存储策略:ALL_SSD </h3>
  <pre> <代码> hdfs storagepolicies -setStoragePolicy路径/ssd-policy ALL_SSD </代码> </pre>
  <h2>干创建表空间</h2>
  <h3> 1。创建文件空间配置文件,在主节点上执行</h3>
  <pre> <代码>美元干文件空间- o tpc_h_config </代码> </pre>
  <pre> <代码>文件空间:fs_tpc_h
  fsreplica: 3
  dfs_url: mycluster/ssd fs_tpc_h </代码> </pre>
  <h3> 2。创建HDFS目录</h3>
  <pre> <代码> $ hdfs dfs mkdir/ssd
  美元hdfs dfs乔恩gpadmin: gpadmin/ssd
  美元hdfs dfs - ls/</代码> </pre>
  <h3> 3。创建文件空间</h3>
  <pre> <代码>美元干文件空间- c tpc_h_config </代码> </pre>
  <p> <img src=

  

4。创建表空间

  

psql   

 <代码>创建表空间ts_tpc_h文件空间fs_tpc_h;  
  

 Apache干创建使用SSD磁盘的表

  

5。查看当前所有表空间

  
 <代码>选择spcname tblspc, fsname filespc,
  fsedbid seg_dbid, fselocation datadir
  从pg_tablespace页面表,pg_filespace pgf,
  pg_filespace_entry pgfse
  pgts.spcfsoid=pgfse.fsefsoid
  和pgfse.fsefsoid=pgfs.oid
  ORDER BY tblspc seg_dbid;  
  

 Apache干创建使用SSD磁盘的表

  

干创建表

  

1。建表

  
 <代码>创建表区域(
  r_regionkey整数,
  r_name char (25),
  r_comment varchar (152),
  r_extra char (1)
  )与(appendonly=true,取向=拼花,compresstype=时髦的)
  表空间ts_tpc_h
  分布式(r_regionkey);  
  

2。查看表使用的表空间

  
 <代码>选择c。relname d。dat2tablespace tablespace_id d。oid database_id c。relfilenode table_id
  从pg_database d, pg_class c, pg_namespace n
  在c。relnamespace=n.oid
  和d。datname=current_database ()
  和n。nspname=' qbyps '
  和c。relname=皃”;  
  
 <代码>选择pgf。oid fs_id页面表。oid ts_id, spcname tblspc, fsname filespc,
  fsedbid seg_dbid, fselocation datadir
  从pg_tablespace页面表,pg_filespace pgf,
  pg_filespace_entry pgfse
  pgts.spcfsoid=pgfse.fsefsoid
  和pgfse.fsefsoid=pgfs.oid
  ORDER BY tblspc seg_dbid;  
  

维护

  

干使用libhdfs3.so的API访问HDFS,目前不支持存储策略,因此,需要对写入后的数据进行维护。

  
 <代码> hdfs推动者- p/ssd fs_tpc_h  
  

附录:

  

存储策略命令
列出所有存储策略

  
 <代码> hdfs storagepolicies -listPolicies  
  

设置存储策略

  
 <代码> hdfs storagepolicies -setStoragePolicy路径& lt; path>政策& lt; policy>  
  

例如   

 <代码> hdfs storagepolicies -setStoragePolicy路径/tmp政策ALL_SSD  
  

取消存储策略

  
 <代码> hdfs storagepolicies -unsetStoragePolicy路径& lt; path>  
  

之后该目录或者文件,以其上级的目录为准,如果是根目录,那么就是热
获取存取策略

  
 <代码> hdfs storagepolicies -getStoragePolicy路径& lt; path>  

Apache干创建使用SSD磁盘的表