利用Packer自定义镜像创建容器集群

jiezi

5 年前

阿里云容器服务 Kubernetes 集群支持 CentOS 操作系统，在绝大多数情况下可以满足客户的要求。但是有些客户由于业务系统对操作系统依赖比较高，希望定制化一些操作系统参数，则可以用自定义镜像来创建 Kubernetes 集群。

创建自定义操作系统镜像有两种方式，一是在控制台上通过为一台 ECS 创建快照的方式创建镜像，注意一定要基于阿里云 CentOS 作为基础镜像，把对操作系统的定制化更新完打成镜像即可。但这种方式的不便之处在于，如果每次对操作系统镜像有更新，则都要手动操作一遍，很难自动化。而且如果是从已有的 Kubernetes 节点制作镜像，还需要把 Docker，Kubelet 等清理干净才能制作镜像，步骤繁琐且容易遗漏。

另外一种方式就是本文介绍的用 Packer 构建镜像。相关的参考文档：使用 Packer 创建自定义镜像。采用 Packer 构建镜像的好处是可以把构建方式自动化，构建所需的参数文件中包含了对干净的基础镜像所做的修改，一目了然，并且可以把配置进行版本化管理。后期需要构建新的镜像，只需改变配置重新执行一下 Packer 构建即可，非常方便，是在生产环境中使用自定义镜像的推荐方式。

那么有没有一个针对容器服务集群的 Packer 配置模版呢？容器服务团队开源的 ack-image-builder 就是一个这样的示例项目。下面我们就来一起动手实践一下。

可以根据官方文档安装 Packer https://www.packer.io/intro/getting-started/install.html。

克隆 ack-image-builder 项目到本地，可以看到 config 和 scripts 目录下是一些示例定制化脚本，读者可以根据自己的需求更新改。

$ git clone https://github.com/AliyunContainerService/ack-image-builder.git
$ cd ack-image-builder
ack-image-builder $ tree
.
├── LICENSE.txt
├── README.md
├── ack-centos.json
├── config
│   └── default.sh
└── scripts
    ├── cleanUpKerneles.sh
    ├── reboot.sh
    ├── updateKernel.sh
    └── verify.sh

2 directories, 8 files

在 ack-centos.json 可以配置在把生成好的自定义镜像存在哪个区（示例中为 cn-hangzhou)。

{
  "variables": {
    "region": "cn-hangzhou",
    "image_name": "ack_test_image{{timestamp}}",
    "source_image": "centos_7_06_64_20G_alibase_20190218.vhd",
    ...
  },

配置好阿里云账号的 AK，然后执行构建命令。

export ALICLOUD_ACCESS_KEY=XXX
export ALICLOUD_SECRET_KEY=XXX
packer build ack-centos.json

大约 7 - 8 分钟一个新的自定义镜像就构建成功了。可以进入 ECS 控制台查看新生成的镜像。

开通自定义镜像白名单

读者如果需要尝试自定义镜像能力，需要先开工单，申请在容器服务控制台上开通自定义镜像的白名单。

创建容器集群

白名单开通后进入容器服务控制台 https://cs.console.aliyun.com/#/k8s/cluster/list，创建 Kubernetes 集群。选择自定义镜像所在的区，在示例中是 cn-hangzhou。

在创建集群的页面中点击 ” 显示高级选项 ”，会出现 ” 自定义镜像 ” 的选择界面：

如果在选择中找不到刚创建的镜像，请检查一下集群和自定义镜像是否在同一个 Region。

选择了自定义镜像后点击创建集群即可完成一个自定义镜像集群的创建。

集群扩容与自动伸缩

使用自定义镜像创建集群后，集群的扩容与自动伸缩中所用的都是自定义镜像。

利用 Terraform 创建容器集群也可以使用自定义镜像，具体参数是：

image_id - The ID of node image.

利用Packer自定义镜像创建容器集群

安装 Packer

创建自定义镜像

利用自定义镜像创建容器集群

Terraform 中自定义镜像支持

讨论