1,软件环境
RHEL6角色jdk-8u45hadoop-2.8.1.tar。广州sshxx.xx.xx。xx ip地址NN hadoop01xx.xx.xx。xx ip地址DN hadoop02xx.xx.xx。xx ip地址DN hadoop03xx.xx.xx。xx ip地址DN hadoop04xx.xx.xx。xx ip地址DN hadoop05本次涉及伪分布式部署只是要主机hadoop01,软件安装参考伪分布式部署终极篇
2,配置纱和mapreduce
[hadoop@hadoop000 hadoop] cp mapred-site.xml美元。模板mapred-site。xml
配置纱
[hadoop@hadoop000 hadoop] vi mapred-site美元。xml
& lt; configuration>
& lt; property>
& lt; name> mapreduce.framework.name
& lt; value> yarn
& lt;/property>
& lt;/configuration>
配置mapreduce
[hadoop@hadoop000 hadoop] vi yarn-site美元。xml:
& lt; configuration>
& lt; property>
& lt; name> yarn.nodemanager.aux-services
& lt; value> mapreduce_shuffle
& lt;/property>
& lt;/configuration>
3,提交测试jar计算圆周率
job_1524804813835_0001工作命名格式:job_unix时间_数字
[hadoop@hadoop01 sbin]美元。/start-yarn。sh
[hadoop@hadoop01 hadoop]。美元/* - name * *
示例。/lib/native/examples
。/分享/hadoop/mapreduce//hadoop-mapreduce-examples-2.8.1-sources来源。jar
。/分享/hadoop mapreduce//hadoop-mapreduce-examples-2.8.1-test-sources来源。jar
。/分享/hadoop mapreduce/lib-examples
/分享/hadoop mapreduce/hadoop-mapreduce-examples-2.8.1。jar
。/分享/doc/hadoop/hadoop-auth-examples
。/分享/doc/hadoop/hadoop-mapreduce-examples
。/分享/doc/hadoop/api/org/apache/hadoop/examples
。/分享/doc/hadoop/api/org/apache/hadoop/security/authentication/examples
[hadoop@hadoop01 hadoop] hadoop jar。美元/分享/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1。jarπ5 10
地图的数量=5
示例/地图=10
写输入地图# 0
写输入图# 1
写输入地图# 2
写输入地图# 3
写输入地图# 4
开始工作18/04/27 12:58:49信息客户端。RMProxy:连接到ResourceManager/0.0.0.0:8032
18/04/27 12:58:50信息输入。FileInputFormat:总输入文件处理:5
18/04/27 12:58:50信息mapreduce。JobSubmitter:分裂数量:5
18/04/27 12:58:50信息mapreduce。JobSubmitter:提交标记工作:job_1524804813835_0001
18/04/27 12:58:51信息impl。YarnClientImpl:提交应用程序application_1524804813835_0001
18/04/27 12:58:51信息mapreduce。工作:url来跟踪工作:http://hadoop01:8088/代理/application_1524804813835_0001/
18/04/27 12:58:51信息mapreduce。工作:工作:job_1524804813835_0001
18/04/27 12:59:03信息mapreduce。工作:工作job_1524804813835_0001运行在超级模式:假
18/04/27 12:59:03信息mapreduce。工作:地图0%减少0%
18/04/27 12:59:18信息mapreduce。工作:地图100%减少0%
18/04/27 12:59:25信息mapreduce。工作:地图100%减少100%
18/04/27 12:59:26信息mapreduce。工作:工作job_1524804813835_0001成功完成
18/04/27 12:59:27信息mapreduce。null
