在安装鼎晖版本的hadoop的时候,我们下载下来的鼎晖的hadoop安装包中,并没有本地包,不支持各个任务阶段的压缩功能,但在生产任务中是必须要支持压缩功能的,所以要对鼎晖进行编译以支持压缩功能,
鼎晖:hadoop-2.6.0-cdh6.7.0-src.tar.gz
jdk: 1.7(经多位同学踩坑,不要使用1.8版本的)
maven: apache-maven-3.3.9-bin.tar.gz
protobuf: protobuf-2.5.0.tar.gz
系统:Centos 7.5
鼎晖官方下载地址:http://archive.cloudera.com/cdh6/cdh/5
repo.tar.gz链接:https://pan.baidu.com/s/1wGCgV_3R3VUm2ka_aVA8GQ提取码:lrejHadoop Hadoop-2.6.0-cdh6.7.0-src.tar。广州链接:https://pan.baidu.com/s/1uRMGIhLSL9QHT-Ee4F16jw提取码:jb1djdk jdk-7u80-linux-x64.tar。广州链接:https://pan.baidu.com/s/1xSCQ8rjABVI-zDFQS5nCPA提取码:lfzemaven apache-maven-3.3.9-bin.tar.gz链接:https://pan.baidu.com/s/1ddkdkLW7r7ahFZmgACGkVw提取码:fdfzprotobuf protobuf-2.5.0.tar.gz链接:https://pan.baidu.com/s/1RSNZGd_ThwknMB3vDkEfhQ提取码:hvc2
yum安装- y svn ncurses-devel
yum安装- y gcc gcc-c + + cmake
yum安装- y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum安装- y时髦snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake cmake
#猫/etc/profile.d/java.sh root@hadoop004软
出口JAVA_HOME=/usr/java/jdk
出口CLASSPATH=: $ JAVA_HOME/lib/dt.jar: $ JAVA_HOME/lib/tools.jar
导出路径=$ JAVA_HOME/bin: $路径
(root@hadoop004软)# java - version
java版本“1.7.0_79”
Java (TM) SE运行时环境(构建1.7.0_79-b15)
Java HotSpot VM (TM) 64位服务器(构建24.79 -b02,混合模式)
#配置环境变量
#猫/etc/profile.d/maven.sh root@hadoop004软
MAVEN_HOME=/usr/地方/maven
导出路径=$ MAVEN_HOME/bin: $路径
(当地root@hadoop004) # mvn——版本
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5;2015 - 11 - 11 - t00:41:47 +喂饲)
Maven:/usr/local/maven
Java版本:1.7.0_79,供应商:甲骨文公司
Java:/usr/java/jdk1.7.0_79/jre
默认语言环境:en_US、平台编码:utf - 8
操作系统名称:“linux”,版本:“3.10.0-862.3.2.el7。x86_64“弓:“amd64 unix“,家庭:
#配置mvn的本地存放地址
& lt; localRepository>/usr/本地maven/repo
将上面下载repo.tar.gz解压后的内容放在此本地仓库目录下,以便于鼎晖编译时直接使用,否则下载将浪费大量的时间
#配置mvn下载源为阿里云的maven仓库
& lt; mirror>
& lt; id> alimaven
& lt; name>王坚maven
& lt; url> http://maven.aliyun.com/nexus/content/groups/public/</url>
& lt; mirrorOf> central
& lt;/mirror>
#编译安装命令
焦油-zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure——prefix=/根/protobuf/使
制作安装
#配置环境变量
#猫/etc/profile.d/protobuf.sh root@hadoop004软
PROTOC_HOME=/usr/地方/protobuf
导出路径=$ PROTOC_HOME/bin: $路径
#查看是否安装成功
源/etc/profile.d/protobuf.sh
(root@hadoop004软)# protoc——版本
libprotoc 2.5.0
焦油-xzvf hadoop-2.6.0-cdh6.7.0-src.tar.gz
cd hadoop-2.6.0-cdh6.7.0
mvn清洁包-Pdist,本机-DskipTests -Dtar
(错误)未能执行目标org.apache.maven.plugins: maven-antrun-plugin: 1.7:运行(使)可执行=癱make failonerror=" true "在…@ 5:126/数据/软/hadoop-2.6.0-cdh6.7.0 hadoop-tools hadoop-pipes/目标/antrun/build-main.xml
(错误)→[帮助1]
(错误)
(错误)看到完整的堆栈跟踪的错误,重新运行Maven - e的开关。
(错误)重新运行Maven使用- x开关,使完整的调试日志记录。
(错误)
(错误的)错误和可能的解决方案的更多信息,请阅读以下文章:
(错误)[帮助1]http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
(错误)
错误纠正的问题后,您可以重新构建命令
【错误】mvn & lt; goals>射频:hadoop-pipes 
问题原因:在安装依赖的过程,漏装了openssl-devel; yum安装- y openssl-devel
焦油-xzvf hadoop-2.6.0-cdh6.7.0-src.tar.gz
cd hadoop-2.6.0-cdh6.7.0
mvn清洁包-Pdist,本机-DskipTests -Dtar
注:由于已经提前将鼎晖需要下载的依赖,放入了maven的本地仓库中了,所以节省了大量的下载时间
