背景

在 k8s中各组件和kube apiserver通信时的认证和鉴权 中提到"NodeRestriction准入插件"，实际上它是一个"准入控制器"。

"准入控制器"是一个重要的概念，在istio、apisix、某些平安产品中都有用到。

本文简要记录一下以下内容：

  • "准入控制器"是什么
  • 怎么开启"准入控制器"
  • 从源码浅析"准入控制器"
本文应用的k8s集群是用kubekey搭建，命令是./kk create cluster --with-kubernetes v1.21.5 --with-kubesphere v3.2.1

剖析

"准入控制器"是什么？

它有点相似"插件"，为apiserver提供了很好的"可扩展性"。

申请apiserver时，通过认证、鉴权后、长久化("api对象"保留到etcd)前，会通过"准入控制器"，让它能够做"变更和验证"。

"变更"能够批改"api对象"，比方istio用来实现pod注入。"验证"能够用来校验"api对象"，比方 校验以后集群是否有足够多的资源满足"api对象"、校验以后提交的"pod对象"是否非法。

怎么开启"准入控制器"？

root@ip-172-31-14-33:~/kubernetes-1.21.5/_output/bin# ./kube-apiserver --help |grep admission-plugins    ...    --enable-admission-plugins strings       admission plugins that should be enabled in addition to default enabled ones (NamespaceLifecycle, LimitRanger, ServiceAccount, TaintNodesByCondition, Priority, DefaultTolerationSeconds, DefaultStorageClass, StorageObjectInUseProtection, PersistentVolumeClaimResize, RuntimeClass, CertificateApproval, CertificateSigning, CertificateSubjectRestriction, DefaultIngressClass, MutatingAdmissionWebhook, ValidatingAdmissionWebhook, ResourceQuota). Comma-delimited list of admission plugins: AlwaysAdmit, AlwaysDeny, AlwaysPullImages, CertificateApproval, CertificateSigning, CertificateSubjectRestriction, DefaultIngressClass, DefaultStorageClass, DefaultTolerationSeconds, DenyServiceExternalIPs, EventRateLimit, ExtendedResourceToleration, ImagePolicyWebhook, LimitPodHardAntiAffinityTopology, LimitRanger, MutatingAdmissionWebhook, NamespaceAutoProvision, NamespaceExists, NamespaceLifecycle, NodeRestriction, OwnerReferencesPermissionEnforcement, PersistentVolumeClaimResize, PersistentVolumeLabel, PodNodeSelector, PodSecurityPolicy, PodTolerationRestriction, Priority, ResourceQuota, RuntimeClass, SecurityContextDeny, ServiceAccount, StorageObjectInUseProtection, TaintNodesByCondition, ValidatingAdmissionWebhook. The order of plugins in this flag does not matter.

依据命令行帮忙能够晓得，默认会开启17个"准入控制器"。

>>> a="NamespaceLifecycle, LimitRanger, ServiceAccount, TaintNodesByCondition, Priority, DefaultTolerationSeconds, DefaultStorageClass, StorageObjectInUseProtection, PersistentVolumeClaimResize, RuntimeClass, CertificateApproval, CertificateSigning, CertificateSubjectRestriction, DefaultIngressClass, MutatingAdmissionWebhook, ValidatingAdmissionWebhook, ResourceQuota">>> len(a.split(","))17

也能够用--enable-admission-plugins开启额定的"准入控制器"。

这些"准入控制器"介绍能够查看 应用准入控制器 文档。在我的试验环境中，能够看到额定开启了NodeRestriction准入控制器，它实现了apiserver对kubelet申请的权限管制。

root@ip-172-31-14-33:~# ps aux|grep kube-apisroot      9567  4.8  7.8 1381988 613048 ?      Ssl  03:49  17:48 kube-apiserver ... --enable-admission-plugins=NodeRestriction ...

从源码浅析"准入控制器"

咱们能够通过"断点调试"联合源码剖析，验证后面说的两个论断：

  • 申请先通过认证、鉴权，而后通过"准入控制器"
  • 默认开启17个"准入控制器"；加上NodeRestriction就是18个

"认证、日志审计、鉴权"在apiserver中都是以filter的模式存在，而"准入控制器"有点像包装了一层servlet。

func DefaultBuildHandlerChain(apiHandler http.Handler, c *Config) http.Handler {    handler := filterlatency.TrackCompleted(apiHandler)    handler = genericapifilters.WithAuthorization(handler, c.Authorization.Authorizer, c.Serializer) // 鉴权    ...    handler = genericapifilters.WithAudit(handler, c.AuditBackend, c.AuditPolicyChecker, c.LongRunningFunc)  // 日志审计    ...  handler = genericapifilters.WithAuthentication(handler, c.Authentication.Authenticator, failedHandler, c.Authentication.APIAudiences) // 认证    ...    return handler}

finishRequest函数中会开goroutine调用"准入控制器"

能够看到 admissionHandler切片长度是18，17个"默认开启的准入控制器"加上NodeRestriction

局部控制器代码在plugin/pkg/admission目录中，会实现Admit接口

总结

  • 申请先通过认证、鉴权，而后通过"准入控制器"
  • 默认开启17个"准入控制器"；NodeRestriction不是默认开启的

默认开启的"准入控制器"中有两个很非凡的，ValidatingAdmissionWebhook和MutatingAdmissionWebhook。这两个控制器让apiserver有了更多的可扩展性，实现了"动静准入管制"。

文章首发于前线Zone：https://zone.huoxian.cn/d/125...
作者：leveryd

前线平安平台：https://www.huoxian.cn/

前线Zone社区：https://zone.huoxian.cn/?sort...