这篇文章主要介绍了怎么为火花应用指定不同的JDK版本,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获、下面让小编带着大家一起了解一下。
<强>前言
随着企业内部业务系统越来越多,基于JVM的服务,通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现:<代码> . lang。UnsupportedClassVersionError>
2.2火花开始移除了对Java 7的支持,大多数情况下,我们的火花是应用和Hadoop系统公用的JDK,如果Hadoop依赖的JDK版本是7,那我们基于JDK 8编写的应用程序跑在上面就会出问题。
该文主要介绍在不同的场景下,如何为火花应用指定不同的JDK版本。
<强>集群已部署了指定的JDK版本
假设集群中每个节点JDK的部署路径为:/usr/Java/jdk1.8
火花提供了<代码> spark.executorEnv。(EnvironmentVariableName) 配置,可以用来给执行者进程添加环境变量,如果火花应用使用的集群管理器是独立的,只需要通过<代码> spark.executorEnv。JAVA_HOME> 在纱模式下,还需要为应用程序主指定不同的JAVA_HOME环境变量,如下: 以集群的方式部署在纱线上的时候,<代码> spark.yarn.appMasterEnv。JAVA_HOME> 以客户的模式部署时,<代码> spark.yarn.appMasterEnv。JAVA_HOME> 驱动端的JDK版本和spark-submit所在的机器中的SPARK_HOME环境变量一致,直接在spark-env.sh中指定即可。 <强>集群缺失特定的JDK版本,且对集群无管理权限 某些特殊的场景下,我们对集群没有管理权限,只能通过纱提交申请,并且集群里没有部署我们需要的JDK版本,这种情形就需要将JDK的安装包也一并提交了。 这里要求我们的JDK安装包必须为广州格式的,和你代码打包后的jar包放在同一目录下,假设我们下载的JDK的安装包为:jdk-8u141-linux-x64.tar。广州。 <代码>关键配置如下: 我们可以通过指定<代码> spark.yarn.dist。archives配置，将JDK的安装包分发到所有Executor的工作目录下（包括Application Master的Executor），另外tar.gz的压缩包也会被自动解压，假设jdk-8u141-linux-x64.tar.gz解压后的目录为jdk1.8.0_141，那么我们特定的JDK的目录就是：./jdk-8u141-linux-x64.tar.gz/jdk1.8.0_141，不同的JDK版本以此类推即可。 注意：由于Spark Standalone没有提供分发JDK安装包并自动解压的功能，所以，这种方式只能用在YARN下。 验证 通过ps -ef grep查询相关进程信息，可以看到java的启动路径为我们特定JDK目录的java表示配置成功。 如下是我在YARN模式下，单独指定JDK版本的Executor的进程启动信息：
stan 590751 590745 0 20:45 ? 00:00:14 ./jdk-8u141-linux-x64.tar.gz/jdk1.8.0_141/bin/java -server -Xmx512m -XX:+UseG1GC -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -XX:InitiatingHeapOccupancyPercent=35 -XX:PermSize=256M -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:./gc.log -verbose:gc -Djava.io.tmpdir=/home/stan/tmp/hadoop-stan/nm-local-dir/usercache/stan/appcache/application_1508397483453_0095/container_1508397483453_0095_01_000004/tmp -Dspark.driver.port=52986 -Dspark.yarn.app.container.log.dir=/home/stan//hadoop-2.6.4/logs/userlogs/application_1508397483453_0095/container_1508397483453_0095_01_000004 -XX:OnOutOfMemoryError=kill %p org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://CoarseGrainedScheduler@10.0.0.110:52986 --executor-id 3 --hostname stan --cores 1 --app-id application_1508397483453_0095 --user-class-path file:/home/stan/tmp/hadoop-stan/nm-local-dir/usercache/stan/appcache/application_1508397483453_0095/container_1508397483453_0095_01_000004/__app__.jar
怎么为火花应用指定不同的JDK版本
