,,,,,,,,,,想法开发WordCount(火花)报错
WordCount {
}
WordCount {
(参数:数组才能[]),{
,,,hadoopAddr =, conf =, SparkConf () .setAppName ()
,,,sc =, SparkContext(配置)
,,,mapRdd =, sc.textFile (hadoopAddr)
,,,result =, mapRdd.flatMap (_.split ()) . map ((_)) .reduceByKey(时间+ _ _) .collect ()
,,}
}
使用火花的默认log4j配置文件:org/apache/spark/log4j-defaults。属性
15/12/08 22:07:16信息SparkContext:运行火花版本1.4.0
15/12/08 22:07:17 NativeCodeLoader警告:无法加载native-hadoop库为您的平台……使用builtin-java类,适用
15/12/08 22:07:18错误壳:未能找到winutils二进制在hadoop二进制路径
. io .IOException:零\ bin \ winutils无法找到可执行文件。exe Hadoop的二进制文件。
org.apache.hadoop.util.Shell.getQualifiedBinPath (Shell.java: 355)
在org.apache.hadoop.util.Shell.getWinUtilsPath (Shell.java: 370)
在org.apache.hadoop.util.Shell灵活;clinit> (Shell.java: 363)
在org.apache.hadoop.util.StringUtils灵活;clinit> (StringUtils.java: 79)
在org.apache.hadoop.security.Groups.parseStaticMapping (Groups.java: 104)
在org.apache.hadoop.security.Groups灵活;init> (Groups.java: 86)
在org.apache.hadoop.security.Groups灵活;init> (Groups.java: 66)
在org.apache.hadoop.security.Groups.getUserToGroupsMappingService (Groups.java: 280)
