清明假期折腾了两天,总结了两种方式使用IDE进行spark程序,记录一下:
第一种方法比较简单,两种方式都是采用SBT进行编译的。
注意:本地不需要安装Scala程序,否则在编译程序时有版本兼容性问题。
一、Non-SBT
创建一个Scala IDEA工程
我们使用Non-SBT的方式,点击“Next”
命名工程,其他按照默认
点击“Finish”完成工程的创建
修改项目的属性
首先修改Modules选项
在src下创建两个文件夹,并把其属性改为source
下面修改Libraries
将Spark开发需要的jar包导进来
加入后:
导入包完成后,在工程的scala下面创建一个package
创建一个Object对象
构建Spark Driver代码
该程序是对搜狗日志的处理代码
接下来进行打包,使用Project Structure的Artifacts
使用From modules with dependencies
选择Main Class
点击“OK”
把名称改为FirstSparkAppJar
因为每台机器上都安装了Scala和Spark,所以可以把Scala和Spark相关的jar文件都删掉
接下来进行Build
选择“Build Artifacts”
第一次选择Build,以后同一个工程要选择Rebuild,然后等待编译完成
下面使用spark-submit运行程序