本文首发于 https://robberphex.com/error-reporting-with-kubernetes-events/

组内有保护一个Kubernetes Webhook，能够拦挡pod的创立申请，并做一些批改（比方增加环境变量、增加init-container等）。

业务逻辑自身很简略，然而如果过程中产生谬误，就很难解决。要不间接阻止pod创立，那么就有可能导致利用无奈启动。要么疏忽业务逻辑，那么就会导致静默失败，谁也不晓得这儿呈现了一个谬误。

于是，奢侈的想法就是接入告警零碎，但这会导致以后组件和具体的告警零碎耦合起来。

在Kubernetes中，有Event机制，能够做到把一些事件，比方正告、谬误等信息记录下来，就比拟适宜这个场景。

什么是Kubernetes中的事件/Event？

事件（Event）是 Kubernetes 中泛滥资源对象中的一员，通常用来记录集群内产生的状态变更，大到集群节点异样，小到 Pod 启动、调度胜利等等。

比方咱们Describe一个pod，就能看到这个pod对应的事件：

kubectl describe pod sc-b-68867c5dcb-sf9hn

能够看到，从调度、到启动、再到这个pod最终拉取镜像失败，都会通过event的形式记录下来。

咱们来看下一个Event的构造：

$ k get events -o json | jq .items[10]

{
  "apiVersion": "v1",
  "count": 1,
  "eventTime": null,
  "firstTimestamp": "2021-12-04T17:02:14Z",
  "involvedObject": {
    "apiVersion": "v1",
    "fieldPath": "spec.containers{sc-b}",
    "kind": "Pod",
    "name": "sc-b-68867c5dcb-sf9hn",
    "namespace": "default",
    "resourceVersion": "322554830",
    "uid": "24df4a07-f41e-42c2-ba26-d90940303b00"
  },
  "kind": "Event",
  "lastTimestamp": "2021-12-04T17:02:14Z",
  "message": "Error: ErrImagePull",
  "metadata": {
    "creationTimestamp": "2021-12-04T17:02:14Z",
    "name": "sc-b-68867c5dcb-sf9hn.16bd9bf933d60437",
    "namespace": "default",
    "resourceVersion": "1197082",
    "selfLink": "/api/v1/namespaces/default/events/sc-b-68867c5dcb-sf9hn.16bd9bf933d60437",
    "uid": "f928ff2d-c618-44a6-bf5a-5b0d3d20e95e"
  },
  "reason": "Failed",
  "reportingComponent": "",
  "reportingInstance": "",
  "source": {
    "component": "kubelet",
    "host": "eci"
  },
  "type": "Warning"
}

能够看到，一个event，比拟重要的几个字端：

• type – 事件类型，能够是Warning、Normal、Error等
• reason – 事件的起因，能够是Failed、Scheduled、Started、Completed等
• message – 事件的形容信息
• involvedObject – 这个事件对应的资源对象，能够是Pod、Node等
• source – 这个事件的起源，能够是kubelet、kube-apiserver等
• firstTimestamp,lastTimestamp – 这个事件的第一次和最初一次产生的工夫

基于这些信息，咱们就能够做一些集群级别的监控、告警了，比方阿里云的ACK，就会将Event发送到SLS中，而后依据对应的规定来做告警。

如何上报事件

后面说了什么是Kubernetes中的Event，然而咱们必须要上报事件，能力让Kubernetes集群晓得这个事件产生了，从而做出后续的监控和告警。

如何拜访Kubernetes API

上报事件的第一步是拜访Kubernetes API，这个API是基于Restful API的，Kubernetes也基于这个API，包装了SDK，间接能够用。

通过SDK连贯到Kubernetes API，有两种形式：

第一种是通过kubeconfg文件来拜访（从内部拜访），第二种是通过serviceaccount拜访（从Pod拜访）。

为了简略起见，咱们应用第一种形式作为例子：

package main

import (
    "flag"
    "fmt"
    "path/filepath"

    "k8s.io/client-go/kubernetes"
    "k8s.io/client-go/tools/clientcmd"
    "k8s.io/client-go/util/homedir"
)

func main() {
    var kubeconfig *string
    if home := homedir.HomeDir(); home != "" {
        kubeconfig = flag.String("kubeconfig", filepath.Join(home, ".kube", "config"), "(optional) absolute path to the kubeconfig file")
    } else {
        kubeconfig = flag.String("kubeconfig", "", "absolute path to the kubeconfig file")
    }
    flag.Parse()

    config, err := clientcmd.BuildConfigFromFlags("", *kubeconfig)
    if err != nil {
        panic(err)
    }
    clientset, err := kubernetes.NewForConfig(config)
    if err != nil {
        panic(err)
    }
    versionInfo, err := clientset.ServerVersion()
    if err != nil {
        panic(err)
    }
    fmt.Printf("Version: %#v\n", versionInfo)
}

运行这段代码，就能够连贯到集群中，能够获取到Kubernetes Server版本了：

Version: &version.Info{Major:"1", Minor:"18+", GitVersion:"v1.18.8-aliyun.1", GitCommit:"27f24d2", GitTreeState:"", BuildDate:"2021-08-19T10:00:16Z", GoVersion:"go1.13.15", Compiler:"gc", Platform:"linux/amd64"}

如何创立、上报事件

在下面的例子中，有了clientset对象，咱们当初就要依赖这个对象，在Kuberentes集群中创立一个事件：

now := time.Now()
message := "test message at " + now.Format(time.RFC3339)
// 命名空间为default
_, err = clientset.CoreV1().Events("default").Create(&apiv1.Event{
    ObjectMeta: metav1.ObjectMeta{
        GenerateName: "test-",
    },
    Type:           "Warning",
    Message:        message,
    Reason:         "OnePilotFail",
    FirstTimestamp: metav1.NewTime(now),
    LastTimestamp:  metav1.NewTime(now),
    InvolvedObject: apiv1.ObjectReference{
        Namespace: "default",
        Kind:      "Deployment",
        Name:      "sc-b",
    },
})
fmt.Printf("create event with err: %v\n", err)

在下面的例子中，咱们在命名空间default下创立了一个名为test-结尾的Event，这个Event的类型是Warning。

咱们也能够看下最终产生进去的Event：

kubectl get events -o json | jq .items[353]

{
  "apiVersion": "v1",
  "eventTime": null,
  "firstTimestamp": "2021-12-04T17:27:06Z",
  "involvedObject": {
    "kind": "Deployment",
    "name": "sc-b",
    "namespace": "default"
  },
  "kind": "Event",
  "lastTimestamp": "2021-12-04T17:27:06Z",
  "message": "test message at 2021-12-05T01:27:06+08:00",
  "metadata": {
    "creationTimestamp": "2021-12-04T17:27:06Z",
    "generateName": "test-",
    "name": "test-vvjzp",
    "namespace": "default",
    "resourceVersion": "1198057",
    "selfLink": "/api/v1/namespaces/default/events/test-vvjzp",
    "uid": "f2bcdd1c-442f-4f61-921a-e18637ee5871"
  },
  "reason": "OnePilotFail",
  "reportingComponent": "",
  "reportingInstance": "",
  "source": {},
  "type": "Warning"
}

这样，关怀对应事件的人，比方运维人员的人，就能够根据这些信息做监控、告警了。

应用场景

和业务事件不同，Kubernetes事件是集群中的资源，关注的人也多是集群的维护者。

所以这种事件上报机制，还是比拟适宜一些根底组件来应用，能够让集群维护者理解到以后集群的状态。

如果须要有更加灵便的告警、监控，那么能够应用更加贴近业务的、规定更加丰盛的工夫、告警零碎。