在 Istio 1.8中多集群反对的演变 一文中，咱们介绍了4种Istio多集群部署模型，并且简略介绍了单网络 Primary-Remote部署模型的部署步骤。明天咱们通过对源码剖析，来介绍Istio如何反对多集群模式。

次要通过istioctl 命令 和 Pilot-discovery源码两局部来讲述，并且基于Istio1.8 版本。

Istioctl 命令

Istioctl 提供了诸多对于多集群反对的命令。该代码位于 istioctl/pkg/multicluster门路下，蕴含了如下子命令：

  • apply ：基于网格拓扑更新多集群网格中的集群
  • describe ： 形容多集群网格的管制立体的状态
  • generate：依据网格形容和运行时状态生成特定于集群的管制立体配置

以上三个命令，大家能够-h，获取帮忙：

$ istioctl x multicluster -hCommands to assist in managing a multi-cluster mesh [Deprecated, it will be removed in Istio 1.9]Usage:  istioctl experimental multicluster [command]Aliases:  multicluster, mcAvailable Commands:  apply       Update clusters in a multi-cluster mesh based on mesh topology  describe    Describe status of the multi-cluster mesh's control plane'  generate    generate a cluster-specific control plane configuration based on the mesh description and runtime stateFlags:  -h, --help   help for multiclusterGlobal Flags:      --context string          The name of the kubeconfig context to use  -i, --istioNamespace string   Istio system namespace (default "istio-system")  -c, --kubeconfig string       Kubernetes configuration file  -n, --namespace string        Config namespaceUse "istioctl experimental multicluster [command] --help" for more information about a command.
  • create-remote-secret：创立具备凭据的secret，以容许Istio拜访近程Kubernetes apiserver。

比方咱们在部署多集群模型中，肯定会执行如下的命令（此次演示近程集群名为 sgt-base-sg1-prod）：

istioctl x create-remote-secret     --context="${CTX_REMOTE}"     --name=sgt-base-sg1-prod |     kubectl apply -f - --context="${CTX_CONTROL}"

该命令分为两局部：

  • 针对近程集群操作：将会在近程集群创立istio-system命名空间，并在该命名空间下创立istio-reader-service-account 和 istiod-service-account 两个服务账户，以及对这两个账户的RBAC相干受权，执行胜利后，返回管制集群所需的Secret。
  • 将 上一步骤返回的Secret利用到管制集群。

咱们看下实际操作返回Secret内容：

# This file is autogenerated, do not edit.apiVersion: v1kind: Secretmetadata:  annotations:    networking.istio.io/cluster: sgt-base-sg1-prod  creationTimestamp: null  labels:    istio/multiCluster: "true"  name: istio-remote-secret-sgt-base-sg1-prod  namespace: istio-systemstringData:  sgt-base-sg1-prod: |    apiVersion: v1    clusters:    - cluster:        certificate-authority-data: LS0tLS1CRUdJTiBDRVJ0tCk1JSUN5RENDQWJDZ0F3SUJBZ0lCQURBTkJna3Foa2lHOXcwQkFRc0ZBREFWTVJNd0VRWURWUVFERXdwcmRXSmwKY201bGRHVnpNQjRYRFRJd01Ea3lNekF5TlRJME0xb1hEVE13TURreU1UQXlOVEkwTTFvd0ZURVRNQkVHQTFVRQpBeE1LYTNWaVpYSnVaWFJsY3pDQ0FTSXdEUVlKS29aSWh2Y05BUUVCQlFBRGdnRVBBRENDQVFvQ2dnRUJBTWFJCk5DcW1McGNjTENGNDNqTDZET1phNnhUMU5kbm9yNkpWR0w5a0FNNGMzVDZDZ1ZYOUpDbGxxdmVDQkRMclgremEKcGQwZ1orNFZqZUtHWk9jdklnc3p2dDV4TTJoWDBBZ1BQMFFDNnl2bnc5VXBrOHBNcDFLVkV1L3pUSXFPTlplcAp0NmlGcjIya1dUaWgwYmhIeDQwc3JoQXZjWXM2NStlb240QmhBYTBGR1dreWM4dUZqRmRnT2hYS3hzd01EdkRiCmUzenlMc3ZOb2NvT3V1U2JrR3hUNmtKeGhmdHI4dEZnWGllM2dYSFJnSitQUUN6UElCM1JZdEsxMGdROHB6T1UKOTAwb3p0TlllZGg4MUhZcjZSV0ZDb1FBMXlpN2xEL3BUWlo4UnRkZTZQWmt0bStFNnJkaEI2a0ZkZmFtY3U4MgptamlQZGxmYWVrSXFCTGxoa1NFQ0F3RUFBYU1qTUNFd0RnWURWUjBQQVFIL0JBUURBZ0trTUE4R0ExVWRFd0VCCi93UUZNQU1CQWY4d0RRWUpLb1pJaHZjTkFRRUxCUUFEZ2dFQkFHUHEzVllkWmFJZFdOMDk5OW5TV1RIV0E0VkYKMzROZ1pEVEdHY3QvWUpNWmZGRnVnSjlqRVBMdTZiSklrZFVHcHNCbkhvNUFsTHJZTjU2dnFkL0MrVTlOc2R2NwpnQ0FBTlNDMVArYktUZmVmWGpQd1dhY0R2RCtTZWIrTHhGUmF3NWZyNDZJNEtTRE12RUZ0T3JaRmhWL3AvQkF5ClZJT01GMDF3aCtOa045OVlWMUZ0S1pLRnd6WGVaM3N3TXBCek50a2daYzlDMjhvdlR5TGNFT05ucGk0dDRmc28KSGpYdkJubUVvak5UcmZtL3F3M1l6Y3dBNXUzekRoRlFkTU5PWlFWVk1EVmhzOFZBOXhyRk1iUFhCSWRiZmZRSApva3QvWkJ0WHRwQm9qaGZmYlJSR0pRQTBFbTk0WTRGNEhhSlFMM2QwMGRoSy9mL1Fiak5BUVhFVFhqRT0KLS0tLS1FTkQgQ0VSVElGSUNBVEUtLS0tLQo=        server: https://88876557684F299B0ED2.xxx.ap-southeast-1.eks.amazonaws.com      name: sgt-base-sg1-prod    contexts:    - context:        cluster: sgt-base-sg1-prod        user: sgt-base-sg1-prod      name: sgt-base-sg1-prod    current-context: sgt-base-sg1-prod    kind: Config    preferences: {}    users:    - name: sgt-base-sg1-prod      user:        token: eyJhbGciOiJSUzI1NirbWFQRjFVeVI3WlZ2Qk9YQ0Qzb2FINl9xMkE5X0MzbXEwb2hVWFVnZjgifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJpc3Rpby1zeXN0ZW0iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlY3JldC5uYW1lIjoiaXN0aW8tcmVhZGVyLXNlcnZpY2UtYWNjb3VudC10b2tlbi1wdHFmOSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJpc3Rpby1yZWFkZXItc2VydmljZS1hY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiMzJlZDQwYzktNGNmNC00Y2EwLWI1YzYtZThhZTczNjFlMDI2Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50OmlzdGlvLXN5c3RlbTppc3Rpby1yZWFkZXItc2VydmljZS1hY2NvdW50In0.WbtOZc0390Yq147gvOFdWsaxhEwAC7vaNzhKtlKIf9JXRIGZhkt91zPU_fJLGAlMlj9RSc5QMzQokLSvA_69fGlXnZpdiPvVBrmWJtOQ_tUNJCAL-MfBerZ1y7Kp6Itaw3j1t2M2Ksj5h1SuqfWdiBbNAwb5ehyVJoGpAxppSGdrLGbMWHH1iZCCz6T3WnPPmMfFktcgFDJYlHuuwRaIsuNgD-nUOrUM7-PQiv2sOGVy8EYbObl9AvcvlklZz5KSHfk6GkJ_RYYObFpy-M8ZOYEA2lTpeg5Wer65nlOXo_FYUQ1It4jsZdsuj9cctIQautT6ExhrG30oAhpamzKs8A

咱们能够看到该secret，被 label istio/multiCluster: "true"标记，在后续的pilot-discovery代码中，会对带有该标记的secret的进行解决。

为什么创立该secret很重要？

  • 使管制立体可能验证来自近程集群中运行的工作负载的连贯申请。没有API Server拜访权限，管制立体将拒绝请求。
  • 启用发现在近程集群中运行的服务端点的性能。

Pilot-discovery

Pilot-discovery 在其server构造体中，蕴含multicluster 对象，该对象定义如下：

type Multicluster struct {    WatchedNamespaces string    DomainSuffix      string    ResyncPeriod      time.Duration    serviceController *aggregate.Controller    XDSUpdater        model.XDSUpdater    metrics           model.Metrics    endpointMode      EndpointMode    m                     sync.Mutex // protects remoteKubeControllers    remoteKubeControllers map[string]*kubeController    networksWatcher       mesh.NetworksWatcher    // fetchCaRoot maps the certificate name to the certificate    fetchCaRoot      func() map[string]string    caBundlePath     string    systemNamespace  string    secretNamespace  string    secretController *secretcontroller.Controller    syncInterval     time.Duration}

其蕴含近程kube控制器和多集群特定的属性。

在pilot-discovery 组件bootstrap过程中，对该对象进行实例化。

if err := s.initClusterRegistries(args); err != nil {        return nil, fmt.Errorf("error initializing cluster registries: %v", err)    }

依据传入的RegistryOptions参数，启动secret控制器以监督近程集群并初始化多集群构造。

func (s *Server) initClusterRegistries(args *PilotArgs) (err error) {    if hasKubeRegistry(args.RegistryOptions.Registries) {        log.Info("initializing Kubernetes cluster registry")        mc, err := controller.NewMulticluster(s.kubeClient,            args.RegistryOptions.ClusterRegistriesNamespace,            args.RegistryOptions.KubeOptions,            s.ServiceController(),            s.XDSServer,            s.environment)        if err != nil {            log.Info("Unable to create new Multicluster object")            return err        }        s.multicluster = mc    }    return nil}

该办法里的外围是NewMulticluster办法：

func NewMulticluster(kc kubernetes.Interface, secretNamespace string, opts Options,    serviceController *aggregate.Controller, xds model.XDSUpdater, networksWatcher mesh.NetworksWatcher) (*Multicluster, error) {    remoteKubeController := make(map[string]*kubeController)    if opts.ResyncPeriod == 0 {        // make sure a resync time of 0 wasn't passed in.        opts.ResyncPeriod = 30 * time.Second        log.Info("Resync time was configured to 0, resetting to 30")    }    mc := &Multicluster{        WatchedNamespaces:     opts.WatchedNamespaces,        DomainSuffix:          opts.DomainSuffix,        ResyncPeriod:          opts.ResyncPeriod,        serviceController:     serviceController,        XDSUpdater:            xds,        remoteKubeControllers: remoteKubeController,        networksWatcher:       networksWatcher,        metrics:               opts.Metrics,        fetchCaRoot:           opts.FetchCaRoot,        caBundlePath:          opts.CABundlePath,        systemNamespace:       opts.SystemNamespace,        secretNamespace:       secretNamespace,        endpointMode:          opts.EndpointMode,        syncInterval:          opts.GetSyncInterval(),    }    mc.initSecretController(kc)    return mc, nil}

对于Multicluster 构造，其实现了如下3个次要办法：

  • AddMemberCluster ： 作为增加近程集群时要调用的回调。此性能须要设置所有处理程序，以监督在近程集群上增加，删除或更改的资源。
  • DeleteMemberCluster：当删除近程集群时，也就是某近程集群不再纳入到mesh中，要调用的回调。同时革除缓存，以删除近程集群资源。
  • UpdateMemberCluster ： 该办法先执行 DeleteMemberCluster 操作，再执行AddMemberCluster 操作。

以上三个办法会传递到MultiCluster 对象中的secret控制器。

func (m *Multicluster) initSecretController(kc kubernetes.Interface) {    m.secretController = secretcontroller.StartSecretController(kc,        m.AddMemberCluster,        m.UpdateMemberCluster,        m.DeleteMemberCluster,        m.secretNamespace,        m.syncInterval)}

该secret 控制器监测secret变动，当然并不是对所有的secret变动都执行对应操作。当secret 蕴含 istio/multiCluster: "true" lable的时候，表明该secret代表一个近程集群，才会做对应的操作，具体操作就是执行下面讲到的三个办法。

 secretsInformer := cache.NewSharedIndexInformer(        &cache.ListWatch{            ListFunc: func(opts meta_v1.ListOptions) (runtime.Object, error) {                opts.LabelSelector = MultiClusterSecretLabel + "=true"                return kubeclientset.CoreV1().Secrets(namespace).List(context.TODO(), opts)            },            WatchFunc: func(opts meta_v1.ListOptions) (watch.Interface, error) {                opts.LabelSelector = MultiClusterSecretLabel + "=true"                return kubeclientset.CoreV1().Secrets(namespace).Watch(context.TODO(), opts)            },        },        &corev1.Secret{}, 0, cache.Indexers{},    )

这样istio就实现了多集群的主动发现目标。

那么发现近程集群之后，istio会做哪些操作那？

MultiCluster 对象中，蕴含remoteKubeControllers 和 serviceController 两个外围对象。

remoteKubeControllers 是一个map[string]*kubeController map对象。Key为近程集群ID，值为kubeController指针。

type kubeController struct {    *Controller    stopCh chan struct{}}

kubeController 能够获取近程集群的Service，Pod信息，node信息等，而后将其转换为istio外部模型对象。

serviceController 是一个aggregate.Controller 对象，该控制器汇总不同注册表中的数据并监督更改。这里相当于咱们平时用到的注册核心。

type Controller struct {    registries []serviceregistry.Instance    storeLock  sync.RWMutex    meshHolder mesh.Holder}

当咱们新增一个集群的时候，AddMemberCluster 办法中，会将新集群的kubeController实例化，并增加到remoteKubeControllers 对象中。起一个协程运行该Controller，而后将该近程集群注册到serviceController中，也就是管制集群开始对该近程集群进行资源对象发现。

当咱们删除一个近程集群的时候，DeleteMemberCluster办法中，会将目标集群的kubeController从remoteKubeControllers 中删除。并且告诉运行该Controller的协程退出，而后将该近程集群从注册核心serviceController中反注册。

总结

本文从源代码角度简略介绍了一下istio对于多集群的反对。