Kubernetes-上安装-EMQ-X-系列文章之三-使用-Helm-管理部署-EMQ-X-集群

107次阅读

共计 13078 个字符，预计需要花费 33 分钟才能阅读完成。

Helm 介绍

**Helm 是管理 Kubernetes 包的工具，Helm 能提供下面的能力：

  • 创建新的 charts
  • 将 charts 打包成 tgz 文件
  • 与 chart 仓库交互
  • 安装和卸载 Kubernetes 的应用
  • 管理使用 Helm 安装的 charts 的生命周期

** 在 Helm 中，有三个需要了解的重要概念：

  • chart：是创建 Kubernetes 应用实例的信息集合；
  • config：创建发布对象的 chart 的配置信息
  • release：chart 的运行实例，包含特定的 config

Helm 组件

在 Helm 中有两个主要的组件，既 Helm 客户端和 Tiller 服务器：

Helm 客户端：这是一个供终端用户使用的命令行工具，客户端负责如下的工作：

  • 本地 chart 开发
  • 管理仓库
  • 与 Tiller 服务器交互
    • 发送需要被安装的 charts
    • 请求关于发布版本的信息
    • 请求更新或者卸载已安装的发布版本

Tiller 服务器：Tiller 服务部署在 Kubernetes 集群中，Helm 客户端通过与 Tiller 服务器进行交互，并最终与 Kubernetes API 服务器进行交互。Tiller 服务器负责如下的工作：

  • 监听来自于 Helm 客户端的请求
  • 组合 chart 和配置来构建一个发布
  • 在 Kubernetes 中安装，并跟踪后续的发布
  • 通过与 Kubernetes 交互，更新或者 chart

客户端负责管理 chart，服务器发展管理发布。

Helm 技术实现

Helm 客户端是使用 Go 语言编写的，它通过 gRPC 协议与 Tiller 服务器交互。

Tiller 服务器也是使用 Go 语言编写的，它使用 Kubernetes 客户端类库（当前是那个 REST+JSON）与 Kubernetes 进行通讯。

Tiller 服务器通过 Kubernetes 的 ConfigMap 存储信息，因此本身没有用于存储数据库。

Helm 安装部署

安装 Helm 客户端

在进行 Helm 客户端安装前，请确认已有可用的 Kubernetes 集群环境，并已安装了 kubectl。

通过访问：https://github.com/kubernetes…。
下载 Helm 的合适的版本。

  1. 此文下载 helm-v2.8.0-linux-amd64.tgz 版本；
  2. 解压缩文件：tar -zxvf helm-v2.8.0-linux-amd64.tgz
  3. 将解压缩后的 helm 移至/usr/local/bin 目录下：mv linux-amd64/helm /usr/local/bin/helm

注意：

  • 最好在安装 kubectl 命令行工具的机器上安装 Helm 客户端；或者将安装kubectl 命令行工具生成的配置文件（$HOME/.kube/config）复制到 Helm 客户端所安装的机器上($HOME/.kube/config )。

安装 Tiller 服务器

使用 Service Account 安装

  1. 创建一个名为 tiller 的 Service Account

    $ kubectl create serviceaccount tiller --namespace kube-system
  2. 授予名为 tiller 的 Service Account 集群管理员角色 cluster-admin:

    • 将 tiller 绑定至集群管理员角色的的 yaml 文件如下所示：

      $vim rbac-config.yaml

apiVersion: rbac.authorization.k8s.io/v1beta1 
kind: ClusterRoleBinding 
metadata: 
name: tiller 
roleRef: 
apiGroup: rbac.authorization.k8s.io 
kind: ClusterRole 
name: cluster-admin 
subjects: 
 name: tiller 
 namespace: kube-system
 ```

    • 通过执行 kubectl create -f将授予 tiller 集群管理员角色：

      $ kubectl create -f rbac-config.yaml

    1. 安装 Tiller 服务器

      $ helm init --service-account tiller

    验证安装

    在安装完成后，可以通过执行如下命令来检查是安装成功：

    $ helm version

    如果正确显示 Helm 客户端和 Tiller 服务器的版本，这表示安装成功。

    或者通过执行 kubectl 的如下命令来查看是否已正常按照 Tiller 服务器：

    $ kubectl get pods -n kube-system

    Helm 使用

    常用命令

    查看源

    helm repo list    #列出所有源，当前还没有添加源# 添加一个国内可以访问的阿里源，不过好像最近不更新了 helm repo add ali https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts  如果能连外网，可以加 google，f8
helm repo add google https://kubernetes-charts.storage.googleapis.com helm repo add fabric8 https://fabric8.io/helm# 更新源 helm repo update

    查看 chart

    # 查看 chart，即已经通过 helm 部署到 k8s 平台的应用 helm list    或者  helm ls# 若要查看或搜索存储库中的 Helm charts，键入以下任一命令 helm search 
helm search 存储库名称 #如 stable 或 incubatorhelm search chart 名称 #如 wordpress 或 spark# 查看 charm 详情 helm inspect ali/wordpress

    下载 chart

    helm fetch ali/wordpress
[ubuntu@master1 ~]# ls wordpress-0.8.8.tgz wordpress-0.8.8.tgz

    部署应用 wordpress，通过 ali 源文件

    $ helm install --name wordpress-test --set "persistence.enabled=false,mariadb.persistence.enabled=false" ali/wordpress

[ubuntu@master1 ~]# kubectl get pod NAME                                        READY     STATUS    RESTARTS   AGE
wordpress-test-mariadb-84b866bf95-7bx5w     1/1       Running   1          4h
wordpress-test-wordpress-5ff8c64b6c-hrh9q   1/1       Running   0          4h
[ubuntu@master1 ~]# kubectl get svc NAME                       TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
kubernetes                 ClusterIP      10.96.0.1        <none>        443/TCP                      2d
wordpress-test-mariadb     ClusterIP      10.105.71.95     <none>        3306/TCP                     4h
wordpress-test-wordpress   LoadBalancer   10.104.106.150   <pending>     80:30655/TCP,443:32121/TCP   4h

    访问 wordpress，使用 node 节点 ip + nodeport，192.168.1.181:30655

    删除应用

    [ubuntu@master1 ~]# helm listNAME            REVISION    UPDATED                     STATUS      CHART           NAMESPACEwordpress-test  1           Thu May 17 11:35:07 2018    DEPLOYED    wordpress-0.8.8 default  [ubuntu@master1 ~]# helm delete wordpress-testrelease "wordpress-test" deleted

    建立自己的 chart

    创建一个自己的 chart，看下文档结构，学习下如何使用

    $ helm create emqx
Creating emqx
$ tree misa86
emqx
├── charts     #Chart 本身的版本和配置信息├── Chart.yaml    #Chart 本身的版本和配置信息├── templates    #配置模板目录│   ├── deployment.yaml    #kubernetes Deployment object│   ├── _helpers.tpl    #用于修改 kubernetes objcet 配置的模板│   ├── ingress.yaml    #kubernetes Deployment object│   ├── NOTES.txt    #helm 提示信息│   └── service.yaml    #kubernetes Serivce└── values.yaml    #kubernetes object configuration，定义变量

    模板 template

    template 下包含应用所有的 yaml 文件模板，应用资源的类型不仅限于 deployment 和 service 这些，k8s 支持的都可以。

    $cat templates/deployment.yaml

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: {{include "emqx.fullname" .}}
  labels:
    app.kubernetes.io/name: {{include "emqx.name" .}}
    helm.sh/chart: {{include "emqx.chart" .}}
    app.kubernetes.io/instance: {{.Release.Name}}
    app.kubernetes.io/managed-by: {{.Release.Service}}
spec:
  replicas: {{.Values.replicaCount}}
  selector:
    matchLabels:
      app.kubernetes.io/name: {{include "emqx.name" .}}
      app.kubernetes.io/instance: {{.Release.Name}}
  template:
    metadata:
      labels:
        app.kubernetes.io/name: {{include "emqx.name" .}}
        app.kubernetes.io/instance: {{.Release.Name}}
    spec:
      containers:
        - name: {{.Chart.Name}}
          image: "{{.Values.image.repository}}:{{.Values.image.tag}}"
          imagePullPolicy: {{.Values.image.pullPolicy}}
          ports:
          - containerPort: 1883
          - containerPort: 8883
          - containerPort: 8080
          - containerPort: 8083
          - containerPort: 8084
          - containerPort: 18083
          env:
          - name: EMQX_NAME
            value: emqx
          - name: EMQX_CLUSTER__K8S__APP_NAME
            value: emqx
          - name: EMQX_CLUSTER__DISCOVERY
            value: k8s
          - name: EMQX_CLUSTER__K8S__SERVICE_NAME
            value: {{include "emqx.fullname" .}}
          - name: EMQX_CLUSTER__K8S__APISERVER
            value: {{.Values.env.kubeApiserver}}
          - name: EMQX_CLUSTER__K8S__NAMESPACE
            value: {{.Values.env.kubeNamespace}}
          - name: EMQX_CLUSTER__K8S__ADDRESS_TYPE
            value: {{.Values.env.kubeAddressType}}
          - name: EMQX_CLUSTER__K8S__APP_NAME
            value: emqx
          tty: true

    这是该应用的 Deploymen t 的 yaml 配置文件，其中的双大括号包扩起来的部分是 Go template，template “emqx.name” 这类是在 _helpers.tpl 文件中定义的，如果不定义，将来文件名会是随意字符加 chart 名字。

    其中的 Values 是在 values.yaml 文件中定义的，应用主要的参数在这边：

    $ cat values.yaml# Default values for emqx.# This is a YAML-formatted file.# Declare variables to be passed into your templates.replicaCount: 2image:
  repository: emqx/emqx
  tag: latest
  pullPolicy: IfNotPresent

env:
  kubeApiserver: http://127.0.0.1:8080
  kubeNamespace: default
  kubeAddressType: ip

service:
  type: ClusterIP
  mqttPort: 1883
  mqttsslPort: 8883
  mgmtPort: 8080
  webscoketPort:8083
  wssPort:8084
  dashboardPort: 18083ingress:
  enabled: false
  annotations: {}    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - chart-example.local
  tls: []  #  - secretName: chart-example-tls
  #    hosts:
  #      - chart-example.local

    比如在 Deployment.yaml 中定义的容器镜像 image:

    {{.Values.image.repository}}:{{.Values.image.tag}}

    其中的：

    .Values.image.repository 就是 emqx/emqx
.Values.image.tag 就是 latest

    以上两个变量值是在 install chart 的时候自动生成的默认值。

    检查配置和模板是否有效

    当使用 kubernetes 部署应用的时候实际上将 templates 渲染成最终的 kubernetes 能够识别的 yaml 格式。

    使用 helm install --dry-run --debug <chart_dir> 命令来验证 chart 配置。该输出中包含了模板的变量配置与最终渲染的 yaml 文件。deployment service 的名字前半截由两个随机的单词组成，随机数加 chart 名。这名字也可以改成 value 方式，自己定义如果配置等有问题此处会报错。

    helm install --set env.kubeApiserver=http://172.31.31.241:8080 --dry-run --debug .[debug] Created tunnel using local port: '43251'[debug] SERVER: "127.0.0.1:43251"[debug] Original chart version: ""[debug] CHART PATH: /home/ubuntu/emqx-helm

NAME:   quelling-toad
REVISION: 1RELEASED: Tue Oct 30 08:18:09 2018CHART: emqx-helm-v1.0USER-SUPPLIED VALUES:
env:
  kubeApiserver: http://172.31.31.241:8080COMPUTED VALUES:
env:
  kubeAddressType: ip
  kubeApiserver: http://172.31.31.241:8080
  kubeNamespace: defaultimage:
  pullPolicy: IfNotPresent
  tag: latest
ingress:
  annotations: {}
  enabled: false
  hosts:
  - chart-example.local
  path: /
  tls: []
replicaCount: 2service:
  dashboardPort: 18083
  mappingPort: 4369
  mgmtPort: 8080
  mqttPort: 1883
  mqttsslPort: 8883
  type: ClusterIP

HOOKS:
MANIFEST:

---# Source: emqx-helm/templates/service.yamlapiVersion: v1
kind: Service
metadata:
  name: quelling-toad-emqx-helm
  labels:
    app.kubernetes.io/name: emqx-helm
    helm.sh/chart: emqx-helm-v1.0
    app.kubernetes.io/instance: quelling-toad
    app.kubernetes.io/managed-by: Tiller
spec:
  type: ClusterIP
  ports:
  - name: mqtt
    port: 1883
    protocol: TCP
    targetPort: 1883
  - name: mqttssl
    port: 8883
    protocol: TCP
    targetPort: 8883
  - name: mgmt
    port: 8080
    protocol: TCP
    targetPort: 8080
  - name: webscoket
    port: 8083
    protocol: TCP
    targetPort: 8083
  - name: wss
    port: 8084
    protocol: TCP
    targetPort: 8084
  - name: dashboard
    port: 18083
    protocol: TCP
    targetPort: 18083
  selector:
    app.kubernetes.io/name: emqx-helm
    app.kubernetes.io/instance: quelling-toad
---# Source: emqx-helm/templates/deployment.yamlapiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: quelling-toad-emqx-helm
  labels:
    app.kubernetes.io/name: emqx-helm
    helm.sh/chart: emqx-helm-v1.0
    app.kubernetes.io/instance: quelling-toad
    app.kubernetes.io/managed-by: Tiller
spec:
  replicas: 2
  selector:
    matchLabels:
      app.kubernetes.io/name: emqx-helm
      app.kubernetes.io/instance: quelling-toad
  template:
    metadata:
      labels:
        app.kubernetes.io/name: emqx-helm
        app.kubernetes.io/instance: quelling-toad
    spec:
      containers:
        - name: emqx-helm
          image: "emqx/emqx:latest"
          imagePullPolicy: IfNotPresent
          ports:
          - containerPort: 1883
          - containerPort: 8883
          - containerPort: 8080
          - containerPort: 8083
          - containerPort: 8084
          - containerPort: 18083
          env:
          - name: EMQX_NAME
            value: emqx
          - name: EMQX_CLUSTER__K8S__APP_NAME
            value: emqx
          - name: EMQX_CLUSTER__DISCOVERY
            value: k8s
          - name: EMQX_CLUSTER__K8S__SERVICE_NAME
            value: quelling-toad-emqx-helm
          - name: EMQX_CLUSTER__K8S__APISERVER
            value: http://172.31.31.241:8080
          - name: EMQX_CLUSTER__K8S__NAMESPACE
            value: default
          - name: EMQX_CLUSTER__K8S__ADDRESS_TYPE
            value: ip
          - name: EMQX_CLUSTER__K8S__APP_NAME
            value: emqx
          tty: true

    部署到 kubernetes

    在 EMQ X 目录下执行下面的命令将应用部署到 kubernetes 集群上。

    $ helm install --set env.kubeApiserver=http://172.31.31.241:8080 .NAME:   ugly-bumblebee
LAST DEPLOYED: Tue Oct 30 08:19:17 2018NAMESPACE: defaultSTATUS: DEPLOYED

RESOURCES:
==> v1/Service
NAME                      AGE
ugly-bumblebee-emqx-helm  0s

==> v1beta2/Deployment
ugly-bumblebee-emqx-helm  0s

==> v1/Pod(related)

NAME                                       READY  STATUS             RESTARTS  AGE
ugly-bumblebee-emqx-helm-5bc599849f-n4htc  0/1    ContainerCreating  0         0s
ugly-bumblebee-emqx-helm-5bc599849f-xwdn7  0/1    ContainerCreating  0         0s


NOTES:1. Get the application URL by running these commands:  export POD_NAME=$(kubectl get pods --namespace default -l "app.kubernetes.io/name=emqx-helm,app.kubernetes.io/instance=ugly-bumblebee" -o jsonpath="{.items[0].metadata.name}")
  echo "Visit http://127.0.0.1:8080 to use your application"
  kubectl port-forward $POD_NAME 8080:80

    查看部署的 relaese

    $ helm listNAME            REVISION    UPDATED                     STATUS      CHART           APP VERSION NAMESPACE
ugly-bumblebee  1           Tue Oct 30 08:19:17 2018    DEPLOYED    emqx-helm-v1.0  v1.0        default$ helm delete ugly-bumblebee
release "ugly-bumblebee" deleted

    打包分享

    我们可以修改 Chart.yaml 中的 helm chart 配置信息，然后使用下列命令将 chart 打包成一个压缩文件。

    $ helm package .
Successfully packaged chart and saved it to: /home/ubuntu/emqx/emqx-v1.0.tgz

    Chart Repository

    chart 库是带有一个 index.yaml 文件和任意个打包 chart 的 HTTP 服务器。当准备好分享 chart 时，首选方法是将其上传到 chart 库。

    由于 chart 库可以是任何可以提供 YAML 和 tar 文件并可以回答 GET 请求的 HTTP 服务器，因此当托管自己的 chart 库时，很多选择。例如，可以使用 Google 云端存储（GCS）存储桶，Amazon S3 存储桶，Github Pages，甚至可以创建自己的 Web 服务器。

    创建 chart 库

    chart 库结构

    chart 库由打包的 chart 和一个名为的特殊文件组成，index.yaml 其中包含 chart 库中所有 chart 的索引。通常，index.yaml 描述的 chart 也是托管在同一台服务器上，源代码文件也是如此。

    例如，chart 库的布局 https://example.com/charts 可能如下所示：

    charts/  |
  |- index.yaml  |
  |- alpine-0.1.2.tgz  |
  |- alpine-0.1.2.tgz.prov

    这种情况下，索引文件包含有关一个 chart（Alpine chart）的信息，并提供该 chart 的下载 URL https://example.com/charts/al…。

    不要求 chart 包与 index.yaml 文件位于同一台服务器上。但是，放在一起这样做通常是最简单的。

    索引文件

    索引文件是一个叫做 yaml 文件 index.yaml。它包含一些关于包的元数据，包括 chart 的 Chart.yaml 文件的内容。一个有效的 chart 库必须有一个索引文件。索引文件包含有关 chart 库中每个 chart 的信息。helm repo index 命令将根据包含打包的 chart 的给定本地目录生成索引文件。

    下面一个索引文件的例子：

    apiVersion: v1
entries:
  alpine:
    - created: 2016-10-06T16:23:20.499814565-06:00
      description: Deploy a basic Alpine Linux pod
      digest: 99c76e403d752c84ead610644d4b1c2f2b453a74b921f422b9dcb8a7c8b559cd
      home: https://k8s.io/helm
      name: alpine
      sources:
      - https://github.com/kubernetes/helm
      urls:
      - https://technosophos.github.io/tscharts/alpine-0.2.0.tgz
      version: 0.2.0
    - created: 2016-10-06T16:23:20.499543808-06:00
      description: Deploy a basic Alpine Linux pod
      digest: 515c58e5f79d8b2913a10cb400ebb6fa9c77fe813287afbacf1a0b897cd78727
      home: https://k8s.io/helm
      name: alpine
      sources:
      - https://github.com/kubernetes/helm
      urls:
      - https://technosophos.github.io/tscharts/alpine-0.1.0.tgz
      version: 0.1.0
  nginx:
    - created: 2016-10-06T16:23:20.499543808-06:00
      description: Create a basic nginx HTTP server
      digest: aaff4545f79d8b2913a10cb400ebb6fa9c77fe813287afbacf1a0b897cdffffff
      home: https://k8s.io/helm
      name: nginx
      sources:
      - https://github.com/kubernetes/charts
      urls:
      - https://technosophos.github.io/tscharts/nginx-1.1.0.tgz
      version: 1.1.0generated: 2016-10-06T16:23:20.499029981-06:00

    生成的索引和包可以从基本的网络服务器提供。可以使用 helm serve 启动本地服务器，在本地测试所有内容。

    $ helm serve --repo-path ./charts
Regenerating index. This may take a moment.
Now serving you on 127.0.0.1:8879

    托管 chart 库

    要配置普通 Web 服务器来服务 Helm chart，只需执行以下操作：

    • 将索引和 chart 置于服务器目录中
    • 确保 index.yaml 可以在没有认证要求的情况下访问
    • 确保 yaml 文件的正确内容类型（text/yaml 或 text/x-yaml）

    例如，如果想在 $WEBROOT/charts 以外的目录为 chart 提供服务，请确保 Web 根目录中有一个 charts/ 目录，并将索引文件和 chart 放入该文件夹内。

    管理 chart 库

    将 chart 存储在 chart 库中

    现在已有一个 chart 存储库，让我们上传一个 chart 和一个索引文件到存储库。chart 库中的 chart 必须正确打包（helm package chart-name/）和版本（遵循 SemVer 2 标准）。

    接下来的这些步骤是一个示例工作流程，也可以用你喜欢的任何工作流程来存储和更新 chart 库中的 chart。

    准备好打包 chart 后，创建一个新目录，并将打包 chart 移动到该目录。

    $ helm package .
$ mkdir emqx-charts
$ mv emqx-0.1.0.tgz emqx-charts/
$ helm repo index emqx-charts --url  https://example.com/charts

    最后一条命令采用刚创建的本地目录的路径和远程 chart 库的 URL，并在给定的目录路径中生成 index.yaml。

    现在可以使用同步工具或手动将 chart 和索引文件上传到 chart 库。如果使用 Google 云端存储，请使用 gsutil 客户端查看此示例工作流程。对于 GitHub，可以简单地将 chart 放入适当的目标分支中。

    新添加 chart 添加到现有存储库

    每次将新 chart 添加到存储库时，都必须重新生成索引。helm repo index 命令将 index.yaml 从头开始完全重建该文件，但仅包括它在本地找到的 chart。

    可以使用 –merge 标志向现有 index.yaml 文件增量添加新 chart（在使用远程存储库（如 GCS）时，这是一个很好的选择）。运行 helm repo index –help 以了解更多信息，

    确保上传修改后的 index.yaml 文件和 chart。如果生成了出处 provenance 文件，也要上传。

    与他人分享 chart

    准备好分享 chart 时，只需让别人知道存储库的 URL 是什么就可以了。

    他们将通过 helm repo add [NAME] [URL] 命令将仓库添加到他们的 helm 客户端，并可以起一个带有任何想用来引用仓库的名字。

    $ helm repo add emqx-charts https://example.com/charts
$ helm repo list
emqx-charts    https://example.com/charts

    如果 chart 由 HTTP 基本认证支持，也可以在此处提供用户名和密码：

    $ helm repo add emqx-charts https://example.com/charts --username my-username --password my-password
$ helm repo list
emqx-charts    https://example.com/charts

    注意：如果存储库不包含有效信息库 index.yaml 文件，则添加不会成功。

    之后，用户将能够搜索 chart。更新存储库后，他们可以使用该 helm repo update 命令获取最新的 chart 信息。

    原理是 helm repo add 和 helm repo update 命令获取 index.yaml 文件并将它们存储在 $HELM_HOME/repository/cache/ 目录中。这是 helm search 找到有关 chart 的信息的地方。

    参考资料

    • Chart Repository 存储库指南
    • 使用 Helm 管理 kubernetes 应用
    • Kunbernetes - 容器云应用的安装部署工具 Helm

    更多信息请访问我们的官网 emqx.io，或关注我们的开源项目 github.com/emqx/emqx，详细文档请访问 官方文档。

    正文完
    kubernetes 物联网
    发表至：无分类
    2019-08-03
     0