1.1 调度器简介
来个小刘一起 装逼吧
,明天咱们来学习 K8的调度器
Scheduler
是 Kubernetes
的调度器,次要的工作是把定义的 pod
调配到集群的节点上,须要思考以下问题:
- 偏心:如何保障每个节点都能被分配资源
- 资源高效利用:集群所有资源最大化被应用
- 效率:调度的性能要好,可能尽快地对大批量的
pod
实现调度工作 - 灵便:容许用户依据本人的需要管制调度的逻辑
Scheduler
是作为独自的程序运行的,启动之后会始终连贯 apiserver
获取 PodSpec.NodeName
为空的 pod
,对每个 pod
都会创立一个 binding
,表明该 pod
应该放到哪个节点上。
1.2 调度过程
调度分为几个局部:
Predicate
有一系列的算法能够应用:
PodFitsResources
:节点上残余的资源是否大于pod
申请的资源PodFitsHost
:如果pod
指定了NodeName
,查看节点名称是否和NodeName
匹配PodFitsHostPorts
:节点上曾经应用的port
是否和pod
申请的port
抵触PodSelectorMatches
:过滤掉和pod
指定的label
不匹配的节点NoDiskConflict
:曾经mount
的volume
和pod
指定的volume
不抵触,除非它们都是只读
如果在 predicate
过程中没有适合的节点, pod
会始终在 pending
状态(期待),一直重试调度,直到有节点满足条件。
通过这个步骤,如果有多个节点满足条件,就持续 priorities
过程:依照优先级大小对节点排序。优先级由一系列键值对组成,键是该优先级项的名称,值是它的权重,这些优先级选项包含:
LeastRequestedPriority
:通过计算CPU
和Memory
的使用率来决定权重,使用率越低权重越高。换句话说,这个优先级指标偏向于资源应用比例更低的节点BalancedResourceAllocation
:节点上CPU
和Memory
使用率越靠近,权重越高。这个应该和下面的一起应用,不应该独自应用ImageLocalityPriority
:偏向于曾经有要应用镜像的节点,镜像总大小值越大,权重越高
通过算法对所有的优先级我的项目和权重进行计算,得出最终的后果。
1.3 自定义调度器
除了 K8S
自带的调度器,能够自定义调度器。通过 spec:schedulername
参数指定调度器的名字,能够为 pod
抉择某个调度器进行调度。比方上面的 pod
抉择 my-scheduler
进行调度,而不是默认的 default-scheduler
:
apiVersion: v1kind: Podmetadata: name: annotation-second-scheduler labels: name: multischeduler-examplespec: schedulername: my-scheduler containers: - name: pod-with-second-annotation-container image: gcr.io/google_containers/pause:2.0
2.1 Node 亲和性
spec.affinity.nodeAffinity
:
preferredDuringSchedulingIgnoredDuringExecution
(优先执行打算):软策略requiredDuringSchedulingIgnoredDuringExecution
(要求执行打算):硬策略
键值运算关系:
键阐明Inlabel 的值在某个列表中NotInlabel 的值不在某个列表中Gtlabel 的值大于某个值Ltlabel 的值小于某个值Exists某个 label 存在DoesNotExist某个 label 不存在
软策略:
[root@master schedule]apiVersion: v1kind: Podmetadata: name: affinity labels: app: node-affinity-podspec: containers: - name: with-node-affinity image: hub.hc.com/library/myapp:v1 affinity: nodeAffinity: preferredDuringSchedulingIgnoredDuringExecution: - weight: 1 preference: matchExpressions: - key: kubernetes.io/hostname operator: In values: - worker3[root@master schedule]NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESaffinity 1/1 Running 0 39s 10.244.2.92 worker2 <none> <none>
硬策略:
[root@master schedule]apiVersion: v1kind: Podmetadata: name: affinity2 labels: app: node-affinity-podspec: containers: - name: with-node-affinity image: hub.hc.com/library/myapp:v1 affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - worker3[root@master schedule]NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESaffinity2 0/1 Pending 0 23s <none> <none> <none> <none>[root@master schedule]Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning FailedScheduling 49s default-scheduler 0/3 nodes are available: 3 node(s) didn't match node selector.
2.2 Pod 亲和性
spec.affinity.podAffinity/podAntiAffinity
:
preferredDuringSchedulingIgnoredDuringExecution
(优先执行打算):软策略requiredDuringSchedulingIgnoredDuringExecution
(要求执行打算):硬策略
[root@master schedule]apiVersion: v1kind: Podmetadata: name: pod-2 labels: app: pod-2spec: containers: - name: pod-2 image: hub.hc.com/library/myapp:v1 affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app operator: In values: - pod-1 topologyKey: kubernetes.io/hostname podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: - weight: 1 podAffinityTerm: labelSelector: matchExpressions: - key: app operator: In values: - pod-2 topologyKey: kubernetes.io/hostname[root@master schedule]pod-2 0/1 Pending 0 4s <none> <none> <none> <none>[root@master schedule]NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESpod-1 1/1 Running 0 5s 10.244.2.94 worker2 <none> <none>
亲和性/反亲和性调度策略比拟如下:
调度策略匹配标签操作符拓扑域反对调度指标nodeAffinity主机In, NotIn, Exists,DoesNotExist, Gt, Lt否指定主机podAffinityPODIn, NotIn, Exists,DoesNotExist是POD与指定POD同一拓扑域podAnitAffinityPODIn, NotIn, Exists,DoesNotExist是POD与指定POD不在同一拓扑域
2.3 Taint 和 Toleration
节点亲和性,是 pod
的一种属性(偏好或硬性要求),它使 pod
被吸引到一类特定的节点。 Taint
则相同,它使节点可能排挤一类特定的 pod
Taint
和 toleration
相互配合,能够用来防止 pod
被调配到不适合的节点上。每个节点上都能够利用一个或多个 taint
,这示意对于那些不能容忍这些 taint
的 pod
,是不会被该节点承受的。如果将 toleration
利用于 pod
上,则示意这些 pod
能够(但不要求)被调度到具备匹配 taint
的节点上。
①污点 (Taint
) 的组成
应用 kubectl taint
命令能够给某个 Node
节点设置污点, Node
被设置上污点之后就和 Pod
之间存在了一种相斥的关系,能够让 Node
回绝 Pod
的调度执行,甚至将 Node
曾经存在的 Pod
驱赶进来每个污点的组成如下: key=value:effect
每个污点有一个 key
和 value
作为污点的标签,其中 value
能够为空, effect
形容污点的作用。以后 taint effect
反对如下三个选项:
- NoSchedule:
K8S
将不会将Pod
调度到具备该污点的Node
上 - PreferNoSchedule:
K8S
将尽量避免将Pod
调度到具备该污点的Node
上 - NoExecute:
K8S
将不会将Pod
调度到具备该污点的Node
上,同时会将Node
上曾经存在的Pod
驱赶进来
② 污点的设置、查看和去除
kubectl describe node node-namekubectl taint nodes node1 key1=value1:effectkubectl taint nodes node1 key1=value1:effect
设置了污点的 Node
将依据 taint
的 effect
和 Pod
之间产生互斥的关系, Pod
将在肯定水平上不会被调度到 Node
上。但咱们能够在 Pod
上设置容忍 (Toleration
) ,设置了容忍的 Pod
将能够容忍污点的存在,能够被调度到存在污点的 Node
上。
toleration
的配置:
spec: tolerations: - key: "key1" operator: "Equal" value: "value1" effect: "NoSchedule" tolerationSeconds: 3600 - key: "key1" operator: "Equal" value: "value1" effect: "NoExecute" - key: "key2" operator: "Exists" effect: "NoSchedule"
阐明:
- 其中
key
、vaule
、effect
要与Node
上设置的taint
保持一致 operator
的值为Exists
将会疏忽value
值tolerationSeconds
:当Pod
须要被驱赶时能够在Pod
上持续保留运行的工夫
① 当不指定 key
值时,示意容忍所有的污点 key
tolerations: - operator: "Exists"
② 当不指定 effect
值时,示意容忍所有的污点作用
tolerations: - key: "key"operator: "Exists"
③ 有多个 Master
存在时,避免资源节约,能够如下设置
kubectl taint nodes Node-Name node-role.kubernetes.io/master=:PreferNoSchedule
2.4 指定调度节点
apiVersion: extensions/v1beta1kind: Deploymentmetadata: name: mywebspec: replicas: 7 template: metadata: labels: app: myweb spec: nodeName: worker1 nodeSelector: type: theSelected containers: - name: myweb image: hub.hc.com/library/myapp:v1 ports: - containerPort: 80
阐明:
spec.nodeName
:将Pod
间接调度到指定的Node
节点上,会跳过Scheduler
的调度策略,该匹配规定是强制匹配spec.nodeSelector
:通过K8S
的label-selector
机制抉择节点,由调度器调度策略匹配label
,而后调度Pod
到指标节点,该匹配规定属于强制束缚- 给
Node
打标签:kubect; label node worker1 type=theSelected
小刘,先走一步
微信搜一搜 : 全栈小刘 ,获取文章 pdf 版本