怎么在码头工人搭建Hadoop集群

介绍

这篇文章主要介绍”怎么在码头工人搭建Hadoop集群”,在日常操作中,相信很多人在怎么在码头工人搭建Hadoop集群问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答“怎么在码头工人搭建Hadoop集群”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

一。项目介绍

将Hadoop打包到码头工人镜像中,就可以快速地在单个机器上搭Hadoop集建群,这样可以方便新手测试和学习。

如下图所示,Hadoop的主人和奴隶分别运行在不同的码头工人容器中,其中Hadoop master容器中运行NameNode和ResourceManager, Hadoop从容器中运行DataNode和NodeManager.NameNode和DataNode是Hadoop分布式文件系统HDFS的组件,负责储存输入以及输出数据,而ResourceManager和NodeManager是Hadoop集群资源管理系统纱的组件,负责CPU和内存资源的调度。

怎么在码头工人搭建Hadoop集群

之前的版本使用农奴/dnsmasq为Hadoop集群提供DNS服务,由于码头工人网络功能更新,现在并不需要了。更新的版本中,使用以下命令为Hadoop集群创建单独的网络:

 sudo  docker  network  create ——司机=bridge  Hadoop

然后在运行Hadoop容器时,使用“净=Hadoop”选项,这时所有容器将运行在Hadoop网络中,它们可以通过容器名称进行通信。

<强>项目更新要点:

<李>

去除农奴/dnsmasq

<李>

合并主和从镜像

<李>

使用kiwenlau/compile-hadoop项目编译的Hadoo进行安装

<李>

优化Hadoop配置

二。3节点Hadoop集群搭建步骤

<强> 1。下载码头工人镜像 
 sudo  docker  pull  kiwenlau/hadoop: 1.0
<强> 2。下载GitHub仓库 
 git  clone  https://github.com/kiwenlau/hadoop-cluster-docker
<强> 3。创建Hadoop网络 
 sudo  docker  network  create ——司机=bridge  Hadoop
<强> 4。运行码头工人容器 
 cd  hadoop-cluster-docker./start-container。sh

<>强运行结果 

 start  hadoop-master 容器……start  hadoop-slave1 容器……start  hadoop-slave2 容器…root@hadoop-master: ~ #
<李>

启动了3个容器,1个,2个奴隶

<李>

运行后就进入了hadoop master容器的/根目录

<强> 5。启动hadoop 
。/启动hadoop。sh
<强> 6。运行wordcount 
。/run-wordcount。sh

<>强运行结果 

 input 中:Hello  Hadoopinput  file2.txt: Hello  Dockerwordcount 输出:码头工人1hadoop 1hello 2

Hadoop网页管理地址:

<李>

NameNode: http://192.168.59.1:50070

<李>

ResourceManager: http://192.168.59.1:8088

192.168.59.1为运行容器的主机的IP。

三。N节点Hadoop集群搭建步骤

<强> 1。准备
<李>

参考第二部分1 ~ 3:下载码头工人镜像,下载GitHub仓库,以及创建Hadoop网络

<强> 2。重新构建码头工人镜像 
。/resize-cluster.sh  5
<李>

可以指定任意N (N> 1)

<强> 3。启动码头工人容器 
。/start-container.sh  5
<李>

与第2步中N的保持一致。

<强> 4。运行Hadoop
<李>

参考第二部分5 ~ 6:启动Hadoop,并运行wordcount .

到此,关于“怎么在码头工人搭建Hadoop集群”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注网站,小编会继续努力为大家带来更多实用的文章!

怎么在码头工人搭建Hadoop集群