hadoop鼎晖版本安装时髦

　　

<强>一。安装protobuf
ubuntu系统
首先确保具有gcc gcc-c + + libtool cmake具有这些环境
1在/etc/ld.so.conf。d/目录下创建文件libprotobuf。参看写入内容/usr/local/lib否则会报错误而加载共享库:libprotoc.so。8:不能打开共享obj
2 . .安装/配置make&,使
2。验证安装完成
protoc——版本
libprotoc 2.5.0

　　

<强>二。安装时髦本地库
http://www.filewatcher.com/m/snappy 1.1.1.tar.gz.1777992 - 0. - html
下载snappy-1.1.1.tar.gz
解压。/configure
make&及makeInstall

　　

检查当地/lib/usr/
libsnappy.a
libsnappy.la
libsnappy.so
libsnappy.so.1
libsnappy.so.1.2.0

　　

<强>三。编译鼎晖hadoop的源码强。(加入时髦的支持)
下载链接http://archive.cloudera.com/cdh6/cdh/5/

　　

hadoop-2.6.0-cdh6.11.0-src.tar.gz
解压。使用maven编译
4。检查文件
hadoop-2.6.0-cdh6.11.0/hadoop-dist/目标/hadoop-2.6.0-cdh6.11.0/lib/本机
目录下是否具有hadoop的本地库以及时髦的本地库

　　 　　<李>将此目录下的文件拷贝到hadoop集群中的hadoop下的lib/本地目录和hbase下的lib/本地/linux - amd64 - 64目录下,没有则新建,各节点均需拷贝。 　　 　　

cp ~ apk/hadoop-2.6.0-cdh6.11.0/hadoop-dist/目标/hadoop-2.6.0-cdh6.11.0/lib/本地/* ~/app/hadoop/lib/本地/

　　

6。将本地库同步到其他节点
7。配置hadoop的core-site.xml
加入
& lt; property>
& lt; name> io.compression.codecs
& lt; value> org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec
& lt;/property>

　　

配置mapred-site.xml
加入
& lt; property>
& lt; name> mapreduce.map.output.compress
& lt; value> true
& lt;/property>
& lt; property>
& lt; name> mapreduce.map.output.compress.codec
& lt; value> org.apache.hadoop.io.compress.SnappyCodec
& lt;/property>
& lt; property>
& lt; name> mapreduce.admin.user.env
& lt; value> LD_LIBRARY_PATH=/home/hadoop/app/hadoop/lib/native
& lt;/property>
配置hbase的hbase-site.xml
加入
& lt; property>
& lt; name> hbase.block.data.cachecompressed
& lt; value> true
& lt;/property>

　　

8。重启hadoop的hdfs与纱
9。验证时髦是否成功。
hadoop checknative

　　

18/03/07 17:33:36警告bzip2。Bzip2Factory:加载/初始化失败native-bzip2图书馆系统本地,将使用纯java版本
18/03/07 zlib 17:33:36信息。ZlibFactory:成功加载,初始化native-zlib库
本地库检查:
hadoop:真正的/home/hadoop/app/hadoop/lib/native/libhadoop.所以
zlib:真/lib/x86_64-linux-gnu/libz.so。1
时髦:真正的/home/hadoop/app/hadoop/lib/native/libsnappy.so。1
lz4:真正的修订:10301
bzip2:假
openssl:真/usr/lib/x86_64-linux-gnu/libcrypto.so

　　

看到时髦已经成功支持

　　

运行mapreduce任务
hadoop jar ~/app/hadoop/分享/hadoop mapreduce/hadoop-mapreduce-examples-2.6.0-cdh6.11.0。jar wordcount输出/输入/gisData/
如果正常运行。则证明时髦没有问题。如果有。
异常的线程“main". lang。如果:org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z

　　

请检查mapred-site。xml的本地库配置

　　

10启动hbase。
先创建一张时髦的表

　　

创建snappyTest, {NAME=祝辞‘f’,压缩=比;“时髦”}
雅思“snappyTest”

　　

TTL=比;“永远”,压缩=比;“时髦的”,MIN_VERSIONS=比;' 0 '看到这个爽快的就可以了。

　　

重点是我们要压缩现有的表
可以在壳外执行
美元回声“禁用“snappyTest2”“| hbase壳#禁用表
美元回声“desc snappyTest2”“| hbase壳#查看表结构
回声“美元;改变snappyTest2, {NAME=祝辞‘f’,压缩=比;“时髦”},| hbase壳#压缩修改为时髦的
美元回声“启用“snappyTest2”“| hbase壳#使用该表
美元回声“major_compact snappyTest2”“| hbase壳#最好使该表的区域紧凑的一次

　　

也可以hbase壳进壳手动压缩。压缩后会发现数据有40%左右的压缩比

　　

java代码创建Hbase表只需要
HColumnDescriptor HColumnDesc=new HColumnDescriptor (“data");
HColumnDesc.setCompressionType (Algorithm.SNAPPY);//这句是关键

hadoop鼎晖版本安装时髦