大数据之- - -伪分布式部署之终极篇

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -软件版本- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

RHEL6.8hadoop2.8.1apache-maven-3.3.9 ,, findbugs-1.3.9protobuf-2.5.0.tar.gzjdk-8u45

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -软件版本- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

<强> 1。Hadoop
宏观:Hadoop为主的生态圈Hadoop水槽........
狭义:apache hadoop hadoop.apache.org

2. hadoop(存储+计算+资源和作业调度)
hadoop1.x ,
,,,HDFS ,,,,存储
,,,MapReduce计算+资源和作业调度

hadoop2.x 企业正在用
,,,HDFS ,,,,存储
,,,MapReduce计算
,,,YARN ,,,,资源和作业调度平台计算组件都会在纱

hadoop3.x ? ? ?

<李>

EC技术:擦除编码简称EC,是Hadoop3给HDFS拓展的一种新特性,用来解决存储空间文件。

<李>

纱:提供纱的时间轴服务V。2,以便用户和开发人员可以对其进行测试,并提供反馈意见。

<李>

优化Hadoop Shell脚本

<李>

重构Hadoop客户机Jar包

<李>

支持随机容器

<李>

MapReduce任务级本地优化

<李>

支持多个NameNode

<李>

部分默认服务端口被改变

<李>

支持文件系统连接器

<李>

DataNode内部添加了负载均衡

<李>

重构后台程序和任务对管理

<强> 2。Maven部署

2.1博客
解压

[root@hadoop1 softwore] # pwd
/opt/softwore
[root@hadoop1 softwore] # ls
apache-maven-3.3.9-bin.zip hadoop-2.8.1-src.tar.gz jdk-8u45-linux-x64.gz
findbugs-1.3.9.zip ,,,,,,,,hadoop-2.8.1.tar.gz ,,,,protobuf-2.5.0.tar。广州
[root@hadoop1 softwore] #解压apache-maven-3.3.9-bin.zip

2.2配置mavne目录
2.3查看配置文件和解压我们准备好的仓库文件

<强> 3. hadoop编译
3.1解压
3.2查看pom.xml
3.3查看建筑。txt
要求:编译软件环境要求

*
*
*
* CMake 2.6或更新(如果编译原生代码),必须是3.0或更新在Mac
* Zlib猛击(如果编译原生代码)
* openssl猛击(如果编译原生hadoop-pipes和得到最好的HDFS加密性能)
* Linux保险丝(在用户空间文件系统)版本2.6或更高版本(如果编译fuse_dfs)
*第一建立网络连接(获取所有Maven和Hadoop依赖性)

3.4 JDK部署

[root@hadoop1 softwore] #【root@hadoop1 softwore] # ls ld/usr/java/*
drwxr-xr-x 8根根4096 2016年12月15日/usr/java/djdk1.7.0_79
drwxr-xr-x 8 uucp 143 4096年4月,11 2015 drwxr-xr-x 8 uucp 143 4096年10月,7 2015/usr/java/jdk1.8.0_65
[root@hadoop1 softwore] # vim/etc/profile

[root@hadoop1 softwore] #源/etc/profile
[root@hadoop1 softwore] # java - version
java版本“1.8.0_45"
java (TM) SE运行时环境(构建1.8.0_45-b14)
java HotSpot VM (TM) 64位服务器(构建25.45 -b02,混合模式)

,

<强> 3.5 MAVEN
[root@hadoop000 hadoop-2.8.1-src] # mvn——版本
Apache MAVEN 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5;2015 - 11 - 11 - t00:41:47 +喂饲)
Maven:/opt/软件/apache-maven-3.3.9
Java版本:1.8.0_45,供应商:甲骨文公司
Java:/usr/java/jdk1.8.0_45/jre
默认语言环境:en_US,平台编码:utf - 8
操作系统名称:“linux",版本:“2.6.32-431.el6.x86_64",弓:“amd64",家族:“unix"
[root@hadoop000 hadoop-2.8.1-src] #

<强> 3.6 FINDBUGS
[root@hadoop000 findbugs-1.3.9] # FINDBUGS - version
就
[root@hadoop000 findbugs-1.3.9] #

3.7 PROTOCBUF
[root@hadoop000当地]# protoc——版本
libprotoc 2.5.0
[root@hadoop000当地]#

3.8其他

3.9编译
mvn清洁包-Pdist,本机-DskipTests -Dtar

3.10解读

4. hadoop部署
单机部署,,,,进程没有
伪分布式部署进程存在+ 1节点,开发
集群部署,,,,进程存在+ n节点,开发/生产

下载的包:src 源代码包里面不包含jar ,,,,小
,,,,,,,,,不带src或者带本编译好的组件,,大

4.1解压
焦油-xzvf hadoop-2.8.1.tar。广州
乔恩- r根:根hadoop-2.8.1
4.2解读解压文件
[root@hadoop000 hadoop-2.8.1] #我
148
drwxrwxr-x。2根root 4096 Jun 2,2017年本
drwxrwxr-x。3根root 4096 Jun 2,2017等
drwxrwxr-x。2根root 4096 Jun 2,2017包括
drwxrwxr-x。3根root 4096 Jun 2,2017自由
drwxrwxr-x。2根root 4096 Jun 2,2017年libexec

大数据之- - -伪分布式部署之终极篇