火花可以用来跑Python程序吗?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!
<强>火花能跑Python么?
火花是可以Python跑程序的.python编写好的算法,或者扩展库的,比如sklearn都可以在火星上跑。直接使用火花的mllib也是可以的,大部分算法都有。
火花是一个通用引擎,可用它来完成各种各样的运算,包括SQL查询,文本处理,机器学习等。
本次实验是搭有火花环境的linux下跑的,火花版本为1.6.1,相当于在在火花本地执行,火星文件放在/opt/模组/spark-1.6.1/(代码中会看到)
编写Python测试程序
# test.py文件
# - * -编码:utf - 8 - *
进口操作系统
导入系统
#配置环境变量并导入pyspark
os.environ [& # 39; SPARK_HOME& # 39;]=" # 39;/opt/模组/spark-1.6.1& # 39;
sys.path.append (“/opt/模组/spark-1.6.1/python")
sys.path.append (“/opt/模组/spark-1.6.1/python/lib/py4j - 0.9 - src.zip")
从进口SparkContext pyspark SparkConf
浏览器名称=皊park_1"#应用程序名称
主=盎鸹?//hadoop01:7077" # hadoop01为主节点主机名,请换成自己的主节点主机名称
参看=SparkConf () .setAppName(浏览器名称).setMaster(主)
sc=SparkContext (conf=会议)
data=https://www.yisu.com/zixun/[1、2、3、4、5)
distData=sc.parallelize(数据)
res=distData。减少(λa、b: a + b)
打印(“===========================================")
打印(res)
打印(“===========================================") 执行python程序
执行如下命令
python测试。py 执行与结果分别如下图所示:
感谢各位的阅读!看完上述内容,你们对火花可以用来跑Python程序吗大概了解了吗?希望文章内容对大家有所帮助。如果想了解更多相关文章内容,欢迎关注行业资讯频道。
