乐趣区

关于运维:Rancher-系列文章Rancher-升级

jiezi

概述

之前在 天翼云上用 4 台机器装置了一个 1 master（及 etcd) 3 node 的 K3S 集群，并在其上应用 Helm 装置了 Rancher 2.6.3 版本。

前几天发现 Rancher 官网举荐的最新版为：v2.6.4

所以决定先后对 Rancher 和 K3S 集群进行降级。

依据官网举荐，打算：

  1. 将 Rancher 从 v2.6.3 降级到 v2.6.4
  2. 将 K3S 集群从 v1.21.7+k3s1 降级到 v1.22.5+k3s2

本文为 Rancher 的降级记录。

相干信息

本次降级的 Rancher 的根本信息为：

  1. Rancher v2.6.3
  2. 应用 Helm 3, 在线装置
  3. 应用 cert-manager(v1.7.1) + let’s encrypt 治理证书

降级步骤

一、备份运行 Rancher Server 的 Kubernetes 集群

应用 备份应用程序 来备份 Rancher。

如果在降级过程中呈现问题，你将应用备份作为复原点。

备份后果如下图：

二、更新 Helm Chart repository

  1. 更新本地 helm 缓存。

    helm repo update

  2. 获取用来装置 Rancher 的存储库名称。

    对于存储库及其区别，请参见 Helm Chart Repositories。

    • Latest：举荐用于尝试最新性能
    • Stable：举荐用于生产环境 (📝 我用的是这个）
    • Alpha：行将公布的版本的实验性预览

    请将命令中的 <CHART_REPO>，替换为 latest，stable 或 alpha。

    $ helm repo list

NAME                    URL
bitnami                 https://charts.bitnami.com/bitnami
grafana                 https://grafana.github.io/helm-charts
aliyuncs                https://apphub.aliyuncs.com
rancher-stable          http://rancher-mirror.oss-cn-beijing.aliyuncs.com/server-charts/stable
prometheus-community    https://prometheus-community.github.io/helm-charts

  3. 从 Helm chart 库中获取最新的 chart 来装置 Rancher。

    该命令将提取最新的 chart，并将其作为 .tgz 文件保留在当前目录中。能够通过增加 --version= 标记来获取要降级到特定版本的 chart。如下：

    helm fetch rancher-stable/rancher --version=v2.6.4

三、降级 Rancher

应用 Helm 降级 Rancher 的一般（互联网连贯）装置。

从以后装置的 Rancher Helm chart 中获取用 --set 传递的值。

$ helm get values rancher -n cattle-system
USER-SUPPLIED VALUES:
hostname: rancher.ewhisper.cn
ingress:
  tls:
    source: letsEncrypt
replicas: 1
systemDefaultRegistry: registry.cn-hangzhou.aliyuncs.com

🐾 Notes:

因为我的集群是测试或 Demo 用处，所以 replicas 设置为 1

将上一步中的所有值用 –set key=value 追加到命令中。

helm upgrade rancher rancher-stable/rancher \
  --namespace cattle-system \
  --set hostname=rancher.ewhisper.cn \
  --set ingress.tls.source=letsEncrypt \
  --set replicas=1 \
  --set systemDefaultRegistry=registry.cn-hangzhou.aliyuncs.com \
  --version=2.6.4

四、验证降级是否胜利

登录 Rancher，确认降级胜利。

🎉🎉🎉

然而，验证过程中也发现几个问题，上面一一形容及解决。

降级后呈现的问题

  • helm 降级失败，报错 rendered manifests contain a resource that already exists
  • 受管集群 home-k3s 无奈连贯。

Helm 降级 Rancher 失败

问题

报错如下：

Error: UPGRADE FAILED: rendered manifests contain a resource that already exists. 
Unable to continue with update: Secret "bootstrap-secret" in namespace "cattle-system" exists and cannot be imported into the current release: invalid ownership metadata; 
label validation error: missing key "app.kubernetes.io/managed-by": must be set to "Helm"; 
annotation validation error: missing key "meta.helm.sh/release-name": must be set to "rancher"; 
annotation validation error: missing key "meta.helm.sh/release-namespace": must be set to "cattle-system"

解决办法

GitHub 搜寻相干 Issue, 发现是 v2.6.4 的 Bug, Workaround 措施：

首先删除密钥，而后再次运行 helm 装置：

kubectl delete secret -n cattle-system bootstrap-secret
helm upgrade rancher rancher-stable/rancher \
  --namespace cattle-system \
  --set hostname=rancher.ewhisper.cn \
  --set ingress.tls.source=letsEncrypt \
  --set replicas=1 \
  --set systemDefaultRegistry=registry.cn-hangzhou.aliyuncs.com \
  --version=2.6.4

问题解决。

受管集群 home-k3s 无奈连贯

问题

降级后发现：受管集群 home-k3s 无奈连贯，如下图：

登录受管集群，查看 cattle-cluster-agent 的日志，发现报错提醒 镜像的格局不对，拉取的为 x86_64 格局的镜像。

这是因为后面 Helm 装置的时候减少了 systemDefaultRegistry=registry.cn-hangzhou.aliyuncs.com 这个参数，而 registry.cn-hangzhou.aliyuncs.com 镜像库只有 x86_64 格局的镜像，没有 arm64 格局的镜像，而我的 home-k3s 是装置在 树莓派 4 下面的。

解决办法

移除 Helm 的 systemDefaultRegistry=registry.cn-hangzhou.aliyuncs.com 配置，执行 upgrade, 如下：

helm upgrade rancher rancher-stable/rancher \
  --namespace cattle-system \
  --set hostname=rancher.ewhisper.cn \
  --set ingress.tls.source=letsEncrypt \
  --set replicas=1

执行胜利后，发现 Helm 的配置已变更，然而 Rancher 的 systemDefaultRegistry 却仍是 registry.cn-hangzhou.aliyuncs.com.

这里发现 Rancher 界面显示如下 – set by env value:

最终发现是配置在这里：

apiVersion: management.cattle.io/v3
kind: Setting
metadata:
  name: system-default-registry
customized: false
default: ''source:''
value: 'registry.cn-hangzhou.aliyuncs.com'

删除这个 yaml 或将 value 改为：value: '', 并重启 Rancher, 重启后失效，发现 'registry.cn-hangzhou.aliyuncs.com' 以被移除。

问题解决。

📚️参考文档

  • Support matrix – Rancher v2.6.4
  • 降级指南 | Rancher 文档
  • Secret “bootstrap-secret” in namespace “cattle-system” exists and cannot be imported seen when upgrading/re-installing Rancher when bootstrap-secret is not created by Helm · Issue #37060 · rancher/rancher (github.com)
  • v2.6.4 Milestone (github.com)

三人行, 必有我师; 常识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

退出移动版