对于目前基于k8s的的spark利用，次要采纳两种形式运行
- spark原生反对的 spark on k8s
- 基于k8s的operator的 spark on k8s operator
前者是spark社区反对k8s这种资源管理框架而引入的k8s client的实现
后者是k8s社区为了反对spark而开发的一种operator
| 区别 | spark on k8s | spark on k8s operator |
|---|---|---|
| 社区反对 | spark社区 | GoogleCloudPlatform非官方反对 |
| 版本要求 | spark>=2.3,Kubernetes>=1.6 | spark>2.3,Kubernetes>=1.13 |
| 装置 | 依照官网装置，须要k8s pod的create list edit delete权限，且须要本人编译源码进行镜像的构建，构建过程繁琐 | 须要k8s admin装置incubator/sparkoperator，须要pod create list edit delete的权限 |
| 应用 | 间接spark submit提交，如:上面code 1,反对client和cluster模式，spark on k8s | 通过yaml配置文件模式提交，反对client和cluster模式，提交如code2，具体参数参考spark operator configuration |
| 长处 | 合乎sparker的形式进行工作提交，对于习惯了spark的使用者来说，应用起来更棘手 | k8s配置文件形式提交工作，复用性强 |
| 毛病 | 运行完后driver的资源不会主动开释 | 运行完后driver的资源不会主动开释 |
| 实现形式 | 对于spark提交形式来说，无论是client提交还是cluster提交，都是继承SparkApplication。以client提交，子类则是JavaMainApplication,该形式以反射运行,对于k8s工作来剖析,clusterManager为KubernetesClusterManager,该形式和向yarn提交工作的形式没什么区别;以cluster形式提交,对于k8s工作来说,spark程序的入口为KubernetesClientApplication，client端会建设clusterIp为None的service，executor跟该service进行rpc，如工作的提交的交互，且会建设以driver-conf-map后缀的configMap，该configMap在建设spark driver pod的时候，以volumn挂载的模式被援用,而该文件的内容最终在driver提交工作的时候以–properties-file模式提交给spark driver，从而spark.driver.host等配置项就传输给了driver，与此同时也会建设以-hadoop-config为后缀的configMap，可是 k8s 镜像怎么辨别是运行executor还是driver的呢？一切都在dockerfile(具体构建的时候依据hadoop和kerbeors环境的不一样进行区别配置)和entrypoint中,其中shell中是辨别driver和executor的; | 采纳k8s CRD Controller的机制，自定义CRD,依据operator SDK,监听对应的增删改查event，如监听到对应的CRD的创立事件，则依据对应yaml文件配置项，建设pod，进行spark工作的提交，具体的实现，可参考spark on k8s operator design,具体以cluster和client模式提交的原理和spark on k8s统一,因为镜像复用的是spark的官网镜像 |
code 1
---
bin/spark-submit \
--master k8s://https://192.168.202.231:6443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=2 \
--conf "spark.kubernetes.namespace=dev" \
--conf "spark.kubernetes.authenticate.driver.serviceAccountName=lijiahong" \
--conf "spark.kubernetes.container.image=harbor.k8s-test.uc.host.dxy/dev/spark-py:cdh-2.6.0-5.13.1" \
--conf "spark.kubernetes.container.image.pullSecrets=regsecret" \
--conf "spark.kubernetes.file.upload.path=hdfs:///tmp" \
--conf "spark.kubernetes.container.image.pullPolicy=Always" \
hdfs:///tmp/spark-examples_2.12-3.0.0.jarcode 2
---
apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
name: spark-pi
namespace: dev
spec:
type: Scala
mode: cluster
image: "gcr.io/spark-operator/spark:v3.0.0"
imagePullPolicy: Always
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.0.0.jar"
sparkVersion: "3.0.0"
restartPolicy:
type: Never
volumes:
- name: "test-volume"
hostPath:
path: "/tmp"
type: Directory
driver:
cores: 1
coreLimit: "1200m"
memory: "512m"
labels:
version: 3.0.0
serviceAccount: lijiahong
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"
executor:
cores: 1
instances: 1
memory: "512m"
labels:
version: 3.0.0
volumeMounts:
- name: "test-volume"
mountPath: "/tmp"本文由博客群发一文多发等经营工具平台 OpenWrite 公布
发表回复