本文已收录于 Kubernetes 笔记
容器存储接口(CSI)是用于将任意块和文件存储系统裸露给诸如 Kubernetes 之类的容器编排零碎(CO)上的容器化工作负载的规范。应用 CSI 的第三方存储提供商能够编写和部署在 Kubernetes 中公开新存储系统的插件,而无需接触外围的 Kubernetes 代码。
具体来说,Kubernetes 针对 CSI 规定了以下内容:
-
Kubelet 到 CSI 驱动程序的通信
- Kubelet 通过 Unix 域套接字间接向 CSI 驱动程序发动 CSI 调用(例如
NodeStageVolume
,NodePublishVolume
等),以挂载和卸载卷。 - Kubelet 通过 kubelet 插件注册机制发现 CSI 驱动程序(以及用于与 CSI 驱动程序进行交互的 Unix 域套接字)。
- 因而,部署在 Kubernetes 上的所有 CSI 驱动程序 必须 在每个受反对的节点上应用 kubelet 插件注册机制进行注册。
- Kubelet 通过 Unix 域套接字间接向 CSI 驱动程序发动 CSI 调用(例如
-
Master 到 CSI 驱动程序的通信
- Kubernetes master 组件不会间接(通过 Unix 域套接字或其余形式)与 CSI 驱动程序通信。
- Kubernetes master 组件仅与 Kubernetes API 交互。
- 因而,须要依赖于 Kubernetes API 的操作的 CSI 驱动程序(例如卷创立,卷 attach,卷快照等)必须监听 Kubernetes API 并针对它触发适当的 CSI 操作(例如上面的一系列的 external 组件)。
组件
CSI 实现中的组件分为两局部:
- 由 k8s 官网保护的一系列 external 组件负责注册 CSI driver 或监听 k8s 对象资源,从而发动 csi driver 调用,比方(node-driver-registrar,external-attacher,external-provisioner,external-resizer,external-snapshotter,livenessprobe)
- 各云厂商 or 开发者自行开发的组件(须要实现 CSI Identity,CSI Controller,CSI Node 接口)
RPC 接口(开发商实现)
Identity Service
service Identity {
// 返回 driver 的信息,比方名字,版本
rpc GetPluginInfo(GetPluginInfoRequest)
returns (GetPluginInfoResponse) {}
// 返回 driver 提供的能力,比方是否提供 Controller Service,volume 拜访能能力
rpc GetPluginCapabilities(GetPluginCapabilitiesRequest)
returns (GetPluginCapabilitiesResponse) {}
// 探针
rpc Probe (ProbeRequest)
returns (ProbeResponse) {}}
Controller service
service Controller {
// 创立卷
rpc CreateVolume (CreateVolumeRequest)
returns (CreateVolumeResponse) {}
// 删除卷
rpc DeleteVolume (DeleteVolumeRequest)
returns (DeleteVolumeResponse) {}
//attach 卷
rpc ControllerPublishVolume (ControllerPublishVolumeRequest)
returns (ControllerPublishVolumeResponse) {}
//unattach 卷
rpc ControllerUnpublishVolume (ControllerUnpublishVolumeRequest)
returns (ControllerUnpublishVolumeResponse) {}
// 返回存储卷的性能点,如是否反对挂载到多个节点上,是否反对多个节点同时读写
rpc ValidateVolumeCapabilities (ValidateVolumeCapabilitiesRequest)
returns (ValidateVolumeCapabilitiesResponse) {}
// 列出所有卷
rpc ListVolumes (ListVolumesRequest)
returns (ListVolumesResponse) {}
// 返回存储资源池的可用空间大小
rpc GetCapacity (GetCapacityRequest)
returns (GetCapacityResponse) {}
// 返回 controller 插件的性能点,如是否反对 GetCapacity 接口,是否反对 snapshot 性能等
rpc ControllerGetCapabilities (ControllerGetCapabilitiesRequest)
returns (ControllerGetCapabilitiesResponse) {}
// 创立快照
rpc CreateSnapshot (CreateSnapshotRequest)
returns (CreateSnapshotResponse) {}
// 删除快照
rpc DeleteSnapshot (DeleteSnapshotRequest)
returns (DeleteSnapshotResponse) {}
// 列出快照
rpc ListSnapshots (ListSnapshotsRequest)
returns (ListSnapshotsResponse) {}
// 扩容
rpc ControllerExpandVolume (ControllerExpandVolumeRequest)
returns (ControllerExpandVolumeResponse) {}
// 取得卷
rpc ControllerGetVolume (ControllerGetVolumeRequest)
returns (ControllerGetVolumeResponse) {option (alpha_method) = true;
}
}
Node Service
service Node {
// 如果存储卷没有格式化,首先要格式化。而后把存储卷 mount 到一个长期的目录(这个目录通常是节点上的一个全局目录)。再通过 NodePublishVolume 将存储卷 mount 到 pod 的目录中。mount 过程分为 2 步,起因是为了反对多个 pod 共享同一个 volume(如 NFS)。rpc NodeStageVolume (NodeStageVolumeRequest)
returns (NodeStageVolumeResponse) {}
//NodeStageVolume 的逆操作,将一个存储卷从长期目录 umount 掉
rpc NodeUnstageVolume (NodeUnstageVolumeRequest)
returns (NodeUnstageVolumeResponse) {}
// 将存储卷从长期目录 mount 到目标目录(pod 目录)rpc NodePublishVolume (NodePublishVolumeRequest)
returns (NodePublishVolumeResponse) {}
// 将存储卷从 pod 目录 umount 掉
rpc NodeUnpublishVolume (NodeUnpublishVolumeRequest)
returns (NodeUnpublishVolumeResponse) {}
// 返回可用于该卷的卷容量统计信息。rpc NodeGetVolumeStats (NodeGetVolumeStatsRequest)
returns (NodeGetVolumeStatsResponse) {}
//noe 上执行卷扩容
rpc NodeExpandVolume(NodeExpandVolumeRequest)
returns (NodeExpandVolumeResponse) {}
// 返回 Node 插件的性能点,如是否反对 stage/unstage 性能
rpc NodeGetCapabilities (NodeGetCapabilitiesRequest)
returns (NodeGetCapabilitiesResponse) {}
// 返回节点信息
rpc NodeGetInfo (NodeGetInfoRequest)
returns (NodeGetInfoResponse) {}}
External 组件(k8s Team)
这部分组件是由 k8s 官网提供的,作为 k8s api 跟 csi driver 的桥梁:
- node-driver-registrar
CSI node-driver-registrar 是一个 sidecar 容器,可从 CSI driver 获取驱动程序信息(应用 NodeGetInfo),并应用 kubelet 插件注册机制在该节点上的 kubelet 中对其进行注册。
- external-attacher
它是一个 sidecar 容器,用于监督 Kubernetes VolumeAttachment 对象并针对驱动程序端点触发 CSI ControllerPublish 和 ControllerUnpublish 操作
- external-provisioner
它是一个 sidecar 容器,用于监督 Kubernetes PersistentVolumeClaim 对象并针对驱动程序端点触发 CSI CreateVolume 和 DeleteVolume 操作。
external-attacher 还反对快照数据源。如果将快照 CRD 资源指定为 PVC 对象上的数据源,则此 sidecar 容器通过获取 SnapshotContent 对象获取无关快照的信息,并填充数据源字段,该字段向存储系统批示应应用指定的快照填充新卷。 - external-resizer
它是一个 sidecar 容器,用于监督 Kubernetes API 服务器上的 PersistentVolumeClaim 对象的改变,如果用户申请在 PersistentVolumeClaim 对象上申请更多存储,则会针对 CSI 端点触发 ControllerExpandVolume 操作。
- external-snapshotter
它是一个 sidecar 容器,用于监督 Kubernetes API 服务器上的 VolumeSnapshot 和 VolumeSnapshotContent CRD 对象。创立新的 VolumeSnapshot 对象(援用与此驱动程序对应的 SnapshotClass CRD 对象)将导致 sidecar 容器提供新的快照。
该 Sidecar 侦听批示胜利创立 VolumeSnapshot 的服务,并立刻创立 VolumeSnapshotContent 资源。 - livenessprobe
它是一个 sidecar 容器,用于监督 CSI 驱动程序的运行状况,并通过 Liveness Probe 机制将其报告给 Kubernetes。这使 Kubernetes 可能自动检测驱动程序问题并重新启动 Pod 以尝试解决问题。
参考
- kubernetes-csi-introduction
- 详解 Kubernetes Volume 的实现原理
- CSI 存储接口解释
关注公众号 < 学点程序 >,获取最新文章推送