1.1 调度器简介
来个小刘一起 装逼吧
,明天咱们来学习 K8 的 调度器
Scheduler
是 Kubernetes
的调度器,次要的工作是把定义的 pod
调配到集群的节点上,须要思考以下问题:
- 偏心:如何保障每个节点都能被分配资源
- 资源高效利用:集群所有资源最大化被应用
- 效率:调度的性能要好,可能尽快地对大批量的
pod
实现调度工作 - 灵便:容许用户依据本人的需要管制调度的逻辑
Scheduler
是作为独自的程序运行的,启动之后会始终连贯 apiserver
获取 PodSpec.NodeName
为空的 pod
,对每个 pod
都会创立一个 binding
,表明该 pod
应该放到哪个节点上。
1.2 调度过程
调度分为几个局部:
Predicate
有一系列的算法能够应用:
PodFitsResources
:节点上残余的资源是否大于pod
申请的资源PodFitsHost
:如果pod
指定了NodeName
,查看节点名称是否和NodeName
匹配PodFitsHostPorts
:节点上曾经应用的port
是否和pod
申请的port
抵触PodSelectorMatches
:过滤掉和pod
指定的label
不匹配的节点NoDiskConflict
:曾经mount
的volume
和pod
指定的volume
不抵触,除非它们都是只读
如果在 predicate
过程中没有适合的节点,pod
会始终在 pending
状态(期待),一直重试调度,直到有节点满足条件。
通过这个步骤,如果有多个节点满足条件,就持续 priorities
过程:依照优先级大小对节点排序。优先级由一系列键值对组成,键是该优先级项的名称,值是它的权重,这些优先级选项包含:
LeastRequestedPriority
:通过计算CPU
和Memory
的使用率来决定权重,使用率越低权重越高。换句话说,这个优先级指标偏向于资源应用比例更低的节点BalancedResourceAllocation
:节点上CPU
和Memory
使用率越靠近,权重越高。这个应该和下面的一起应用,不应该独自应用ImageLocalityPriority
:偏向于曾经有要应用镜像的节点,镜像总大小值越大,权重越高
通过算法对所有的优先级我的项目和权重进行计算,得出最终的后果。
1.3 自定义调度器
除了 K8S
自带的调度器,能够自定义调度器。通过 spec:schedulername
参数指定调度器的名字,能够为 pod
抉择某个调度器进行调度。比方上面的 pod
抉择 my-scheduler
进行调度,而不是默认的 default-scheduler
:
apiVersion: v1
kind: Pod
metadata:
name: annotation-second-scheduler
labels:
name: multischeduler-example
spec:
schedulername: my-scheduler
containers:
- name: pod-with-second-annotation-container
image: gcr.io/google_containers/pause:2.0
2.1 Node 亲和性
spec.affinity.nodeAffinity
:
preferredDuringSchedulingIgnoredDuringExecution
(优先执行打算):软策略requiredDuringSchedulingIgnoredDuringExecution
(要求执行打算):硬策略
键值运算关系:
键阐明 Inlabel 的值在某个列表中 NotInlabel 的值不在某个列表中 Gtlabel 的值大于某个值 Ltlabel 的值小于某个值 Exists 某个 label 存在 DoesNotExist 某个 label 不存在
软策略:
[root@master schedule]
apiVersion: v1
kind: Pod
metadata:
name: affinity
labels:
app: node-affinity-pod
spec:
containers:
- name: with-node-affinity
image: hub.hc.com/library/myapp:v1
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- worker3
[root@master schedule]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
affinity 1/1 Running 0 39s 10.244.2.92 worker2 <none> <none>
硬策略:
[root@master schedule]
apiVersion: v1
kind: Pod
metadata:
name: affinity2
labels:
app: node-affinity-pod
spec:
containers:
- name: with-node-affinity
image: hub.hc.com/library/myapp:v1
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- worker3
[root@master schedule]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
affinity2 0/1 Pending 0 23s <none> <none> <none> <none>
[root@master schedule]
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedScheduling 49s default-scheduler 0/3 nodes are available: 3 node(s) didn't match node selector.
2.2 Pod 亲和性
spec.affinity.podAffinity/podAntiAffinity
:
preferredDuringSchedulingIgnoredDuringExecution
(优先执行打算):软策略requiredDuringSchedulingIgnoredDuringExecution
(要求执行打算):硬策略
[root@master schedule]
apiVersion: v1
kind: Pod
metadata:
name: pod-2
labels:
app: pod-2
spec:
containers:
- name: pod-2
image: hub.hc.com/library/myapp:v1
affinity:
podAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- pod-1
topologyKey: kubernetes.io/hostname
podAntiAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
podAffinityTerm:
labelSelector:
matchExpressions:
- key: app
operator: In
values:
- pod-2
topologyKey: kubernetes.io/hostname
[root@master schedule]
pod-2 0/1 Pending 0 4s <none> <none> <none> <none>
[root@master schedule]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-1 1/1 Running 0 5s 10.244.2.94 worker2 <none> <none>
亲和性 / 反亲和性调度策略比拟如下:
调度策略匹配标签操作符拓扑域反对调度指标 nodeAffinity 主机 In, NotIn, Exists,DoesNotExist, Gt, Lt 否指定主机 podAffinityPODIn, NotIn, Exists,DoesNotExist 是 POD 与指定 POD 同一拓扑域 podAnitAffinityPODIn, NotIn, Exists,DoesNotExist 是 POD 与指定 POD 不在同一拓扑域
2.3 Taint 和 Toleration
节点亲和性,是 pod
的一种属性(偏好或硬性要求),它使 pod
被吸引到一类特定的节点。Taint
则相同,它使节点可能排挤一类特定的 pod
Taint
和 toleration
相互配合,能够用来防止 pod
被调配到不适合的节点上。每个节点上都能够利用一个或多个 taint
,这示意对于那些不能容忍这些 taint
的 pod
,是不会被该节点承受的。如果将 toleration
利用于 pod
上,则示意这些 pod
能够(但不要求)被调度到具备匹配 taint
的节点上。
①污点 (Taint
) 的组成
应用 kubectl taint
命令能够给某个 Node
节点设置污点,Node
被设置上污点之后就和 Pod
之间存在了一种相斥的关系,能够让 Node
回绝 Pod
的调度执行,甚至将 Node
曾经存在的 Pod
驱赶进来每个污点的组成如下:key=value:effect
每个污点有一个 key
和 value
作为污点的标签,其中 value
能够为空,effect
形容污点的作用。以后 taint effect
反对如下三个选项:
- NoSchedule:
K8S
将不会将Pod
调度到具备该污点的Node
上 - PreferNoSchedule:
K8S
将尽量避免将Pod
调度到具备该污点的Node
上 - NoExecute:
K8S
将不会将Pod
调度到具备该污点的Node
上,同时会将Node
上曾经存在的Pod
驱赶进来
② 污点的设置、查看和去除
kubectl describe node node-name
kubectl taint nodes node1 key1=value1:effect
kubectl taint nodes node1 key1=value1:effect
设置了污点的 Node
将依据 taint
的 effect
和 Pod
之间产生互斥的关系,Pod
将在肯定水平上不会被调度到 Node
上。但咱们能够在 Pod
上设置容忍 (Toleration
),设置了容忍的 Pod
将能够容忍污点的存在,能够被调度到存在污点的 Node
上。
toleration
的配置:
spec:
tolerations:
- key: "key1"
operator: "Equal"
value: "value1"
effect: "NoSchedule"
tolerationSeconds: 3600
- key: "key1"
operator: "Equal"
value: "value1"
effect: "NoExecute"
- key: "key2"
operator: "Exists"
effect: "NoSchedule"
阐明:
- 其中
key
、vaule
、effect
要与Node
上设置的taint
保持一致 operator
的值为Exists
将会疏忽value
值tolerationSeconds
:当Pod
须要被驱赶时能够在Pod
上持续保留运行的工夫
① 当不指定 key
值时,示意容忍所有的污点 key
tolerations:
- operator: "Exists"
② 当不指定 effect
值时,示意容忍所有的污点作用
tolerations:
- key: "key"
operator: "Exists"
③ 有多个 Master
存在时,避免资源节约,能够如下设置
kubectl taint nodes Node-Name node-role.kubernetes.io/master=:PreferNoSchedule
2.4 指定调度节点
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: myweb
spec:
replicas: 7
template:
metadata:
labels:
app: myweb
spec:
nodeName: worker1
nodeSelector:
type: theSelected
containers:
- name: myweb
image: hub.hc.com/library/myapp:v1
ports:
- containerPort: 80
阐明:
spec.nodeName
:将Pod
间接调度到指定的Node
节点上,会跳过Scheduler
的调度策略,该匹配规定是强制匹配spec.nodeSelector
:通过K8S
的label-selector
机制抉择节点,由调度器调度策略匹配label
,而后调度Pod
到指标节点,该匹配规定属于强制束缚- 给
Node
打标签:kubect; label node worker1 type=theSelected
小刘,先走一步
微信搜一搜 : 全栈小刘,获取文章 pdf 版本