火花简单例子

一、统计指定索引的每个值有多少个:

var文本文件=sc.textFile (“/xxxx_orgn/p1_day=20170609/* . txt ");

var pairRdd=textFile.filter (x=祝辞x.split (“\ \ |”, 1) .length> 68) . map {x=祝辞val data=https://www.yisu.com/zixun/x.split (“\ \ |”, 1) (67);(数据,1)}

var=结果pairRdd.reduceByKey((和,x)=祝辞总和+ x)

result.collect.foreach println ()

二、统计数据列数

var文本文件=sc.textFile (“/xxxx_orgn/p1_day=20170609/* . txt ");,

var pairRdd=textFile.map {x=祝辞val data=https://www.yisu.com/zixun/x.split (“\ \ |”, 1) . length;(数据,1)}

var=结果pairRdd.reduceByKey((和,x)=祝辞总和+ x)

result.collect.foreach println ()

火花简单例子