基于想法使用火花API开发火花程序

清明假期折腾了两天,总结了两种方式使用IDE进行spark程序,记录一下:

第一种方法比较简单,两种方式都是采用SBT进行编译的。

注意:本地不需要安装Scala程序,否则在编译程序时有版本兼容性问题。


一、Non-SBT


创建一个Scala IDEA工程

 基于IDEA使用Spark API开发Spark程序

我们使用Non-SBT的方式,点击“Next”

 基于IDEA使用Spark API开发Spark程序

命名工程,其他按照默认

 基于IDEA使用Spark API开发Spark程序

点击“Finish”完成工程的创建

 基于IDEA使用Spark API开发Spark程序

修改项目的属性

 基于IDEA使用Spark API开发Spark程序

首先修改Modules选项

 基于IDEA使用Spark API开发Spark程序

在src下创建两个文件夹,并把其属性改为source

 基于IDEA使用Spark API开发Spark程序

下面修改Libraries

 基于IDEA使用Spark API开发Spark程序

将Spark开发需要的jar包导进来

 基于IDEA使用Spark API开发Spark程序

加入后:

 基于IDEA使用Spark API开发Spark程序

导入包完成后,在工程的scala下面创建一个package

 基于IDEA使用Spark API开发Spark程序

创建一个Object对象

 基于IDEA使用Spark API开发Spark程序

构建Spark Driver代码

 基于IDEA使用Spark API开发Spark程序

该程序是对搜狗日志的处理代码

接下来进行打包,使用Project Structure的Artifacts

 基于IDEA使用Spark API开发Spark程序

使用From modules with dependencies

 基于IDEA使用Spark API开发Spark程序

 基于IDEA使用Spark API开发Spark程序

选择Main Class

 基于IDEA使用Spark API开发Spark程序

 基于IDEA使用Spark API开发Spark程序

点击“OK”

 基于IDEA使用Spark API开发Spark程序

把名称改为FirstSparkAppJar

 基于IDEA使用Spark API开发Spark程序

因为每台机器上都安装了Scala和Spark,所以可以把Scala和Spark相关的jar文件都删掉

 基于IDEA使用Spark API开发Spark程序

接下来进行Build

 基于IDEA使用Spark API开发Spark程序

选择“Build Artifacts”

 基于IDEA使用Spark API开发Spark程序

第一次选择Build,以后同一个工程要选择Rebuild,然后等待编译完成

 基于IDEA使用Spark API开发Spark程序

下面使用spark-submit运行程序

 基于IDEA使用Spark API开发Spark程序

基于想法使用火花API开发火花程序