<强>前言:
前面几篇博客主要介绍了MapReduce与纱线的架构设计及简单工作流程,本篇文章将以wordcount程序为例,简单介绍下纱线的使用。
1. wordcount示例运行
<代码类=" language-shell "> root@hadoop000 ~ # su - hadoop [hadoop@hadoop000 ~] jps美元 9201年SecondaryNameNode 9425年ResourceManager 13875年译本 9540年NodeManager 8852年NameNode 8973年DataNode #创建wordcount目录 [hadoop@hadoop000 ~]美元hdfs dfs mkdir - p/wordcount/输入 [hadoop@hadoop000 ~] vi test.log美元 杰普森ruoze 英雄yimi xjp 123 一个b [hadoop@hadoop000 ~]美元hdfs dfs——测试。日志/wordcount/输入 [hadoop@hadoop000 ~]美元hdfs dfs - ls/wordcount/输入 发现1项 -rw-r - r - 1 hadoop超群37 2018-05-29 38/wordcount/输入/test.log #执行wordcount示例jar包 [hadoop@hadoop000 ~]美元纱jar \ 比;/opt/软件/hadoop-2.8.1/共享/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1。jar \ 比;wordcount \ 比;输入\/wordcount/比;/wordcount/输出 18/05/29 20:40:59信息客户端。RMProxy:连接到ResourceManager/0.0.0.0:8032 18/05/29 20:40:59信息输入。FileInputFormat:总输入文件的过程:1 18/05/29 20:41:00信息mapreduce。JobSubmitter:分裂数:1 18/05/29 20:41:00信息mapreduce。JobSubmitter:提交标记工作:job_1526991305992_0001 18/05/29 20:41:01信息impl。application_1526991305992_0001 YarnClientImpl:提交应用程序 18/05/29 20:41:01信息mapreduce。工作:url来跟踪工作:http://hadoop000:8088/代理/application_1526991305992_0001/18/05/29 20:41:01信息mapreduce。工作:运行工作:job_1526991305992_0001 18/05/29 20:41:14信息mapreduce。工作:工作job_1526991305992_0001运行在超级模式:假的 18/05/29 20:41:14信息mapreduce。工作:地图0%减少0% 18/05/29 20:41:23信息mapreduce。工作:地图100%减少0% 18/05/29 20:41:29信息mapreduce。工作:地图100%减少100% 18/05/29 20:41:30信息mapreduce。工作:工作job_1526991305992_0001成功完成 18/05/29 20:41:30信息mapreduce。工作:计数器:49 #查看结果 (hadoop@hadoop000 ~) $ hdfs dfs - ls/wordcount/输出 发现2项 -rw-r - r - 1 hadoop超群0 2018-05-29 20:41/wordcount/输出/_SUCCESS -rw-r - r - 1 hadoop超群51 2018-05-29 20:41/wordcount/输出/部分- r - 00000 [hadoop@hadoop000 ~]美元hdfs dfs猫/wordcount/输出/部分- r - 00000 123年1 一个2 b 1 英雄1 杰普森1 ruoze 1 xjp 1 yimi 1登录网页查看相关信息:http://192.168.6.217:8088集群
2.纱常用命令总结h5> <代码类=" language-shell ">纱jar & lt; jar>——运行一个jar文件 纱应用程序附些——列出在跑的工作 纱应用杀死application_1526991305992_0001(工作的id)——杀掉在跑的工作
3. wordcount流程详解
