第一次看到火花崩溃
引发壳内存伯父的现象
要搞火花图计算,所以用了谷歌的web-Google.txt,大小71.8 mb。
以命令:
val图=GraphLoader.edgeListFile (sc,“hdfs://192.168.0.10:9000/输入/图表/web-Google.txt”)
建立图的时候,运算了半天后直接退回了控制台。
界面西安
scala>val图=GraphLoader.edgeListFile (sc,“hdfs://192.168.0.10:9000/输入/图表/web-Google.txt”)
[0阶段:在,,,,,,,,,,,,,,,,,,,,,,,,,,,,,(0 + 2)/2)。/bin/spark-shell: 44行:,3592人死亡,,,,,,,,," $ {SPARK_HOME} "/bin/spark-submit org.apache.spark.repl——类。主要——名字“火花壳”“$ @”
第二次引发崩溃!
执行pagerank算法测试,使用的是谷歌的数据web-Google.txt,大小71.8 mb。
val等级=graph.pageRank (0.01)。顶点
火花是一个主人,2个工人的集群,结果slave2挂了
16/11/14 09:51:44集群信息。SparkDeploySchedulerBackend:授予执行人ID的应用- 20161114084026 - 0000/1333 alt="第一次看到火花崩溃:火花壳内存伯父的现象! ">
