-
<李>运行架构图
<李>下载编译2.1下载源代码,并解压
下载地址李
<代码>焦油-zxvf v2.3.2.tar.gz
2.2编译
<代码> cd spark-2.3.2 构建/mvn install -DskipTests 构建/mvn编译-Pkubernetes pl资源管理器/kubernetes/核心是-DskipTests 构建/mvn install -Pkubernetes pl资源管理器/kubernetes/核心是-DskipTests [root@compile spark-2.3.2] # ls组装/目标/scala - 2.11/瓶/la | grep spark-kub * -rw-r - r - 1根根381120年9月26日09:56 spark-kubernetes_2.11-2.3.2.jar dev/让分配。sh - tgz phadoop - 2.7 -Pkubernetes
构建支持R语言和蜂巢的焦油
<代码>/dev/让分配。sh——名字inspur-spark pip - r - tgz -Psparkr phadoop - 2.7 -Phive -Phive-thriftserver -Pkubernetes
出错:
<代码> + +回声“找不到”\“R_HOME \”。请指定R_HOME \“\”或确保R是正确安装。 找不到“R_HOME”。请指定“R_HOME”或确保R是正确安装。
此次我们只测试火花运行> <李>构建码头工人的形象
<代码>/bin/docker-image-tool。2.3.2 sh - r bigdata.registry.com: 5000 - t/bin/docker-image-tool。2.3.2 sh - r bigdata.registry.com: 5000 - t 前推在构建图像时可能会连接不上安装源dl-cdn.alpinelinux.org,修改为使用阿里云的安装源:
修改。/资源管理器/kubernetes/码头工人/src/main/dockerfiles/火花/Dockerfile<代码>运行设置前,,\ sed -我的/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g'/etc/apk/repositories,,\ apk升级——no - cache,,\ apk添加——no - cache bash tini libc6-compat linux pam,,\ mkdir - p/opt/火花,,\ mkdir - p/opt/火花/work-dir,,\ 触摸/opt/火花/释放,,\ rm/bin/sh,,\ ln sv/bin/bash/bin/sh,,\ “身份验证需要pam_wheel回响。所以use_uid”,祝辞的在/etc/pam.d/苏,,\ chgrp根/etc/passwd,,chmod ug + rw/etc/passwd由于本地的私有港口中创建了仓库洞察力
因此,执行如下命令推动形象:<代码>码头工人标记bigdata.registry.com: 5000/火花:2.3.2 2.3.2 bigdata.registry.com: 5000/观点/火花: 码头工人推bigdata.registry.com: 5000/观点/火花:2.3.2<李>将examples.jar上传至httpd服务中<代码> [root@compile spark-2.3.2] #我dist//罐/spark-examples_2.11-2.3.2.jar例子 -rw-r - r - 1根根1997551年9月26日09:56 dist//罐/spark-examples_2.11-2.3.2.jar例子 [root@compile spark-2.3.2] # cp dist//罐/spark-examples_2.11-2.3.2例子。jar/opt/mnt/www/html/火花 [root@compile spark-2.3.2] #将/opt/mnt/www/html/火花 -rw-r - r - 1根根1997551年9月26日26 spark-examples_2.11-2.3.2.jar<李>准备kubernetes环境,即授权<代码> kubectl创建serviceaccount -nspark火花 kubectl创建clusterrolebinding spark-role——clusterrole=编辑serviceaccount=火花:火花——名称空间=火花——seriveaccount=火花:火花前一个火花是指命名空间,后一个火花是指serviceaccount
<李>测试<代码> bin/spark-submit \ ——主k8://http://10.221.129.20:8080 \ ——deploy-mode集群\ ——名字spark-pi \ org.apache.spark.examples——类。SparkPi \ - - - conf spark.executor。实例=1 \ ——配置spark.kubernetes.container.image=bigdata.registry.com: 5000/观点/火花:2.3.2 \ - - - conf spark.kubernetes.namespace=火花\ - - - conf spark.kubernetes.authenticate.driver。serviceAccountName=火花\ http://10.221.129.22/spark/spark-examples_2.11-2.3.2.jar
