关于kubernetes:16kubernetes笔记-CNI网络插件二-Calico介绍

Calico简介

Calico 是一种容器之间互通的网络计划。在虚拟化平台中，比方 OpenStack、Docker 等都须要实现 workloads 之间互连，但同时也须要对容器做隔离管制，就像在 Internet 中的服务仅凋谢80端口、私有云的多租户一样，提供隔离和管控机制。而在少数的虚拟化平台实现中，通常都应用二层隔离技术来实现容器的网络，这些二层的技术有一些弊病，比方须要依赖 VLAN、bridge 和隧道等技术，其中 bridge 带来了复杂性，vlan 隔离和 tunnel 隧道则耗费更多的资源并对物理环境有要求，随着网络规模的增大，整体会变得越加简单。咱们尝试把 Host 当作 Internet 中的路由器，同样应用 BGP 同步路由，并应用 iptables 来做平安拜访策略，最终设计出了 Calico 计划。

设计思维：Calico 不应用隧道或 NAT 来实现转发，而是奇妙的把所有二三层流量转换成三层流量，并通过 host 上路由配置实现跨 Host 转发

设计劣势：

1.更优的资源利用
二层网络通讯须要依赖播送音讯机制，播送音讯的开销与 host 的数量呈指数级增长，Calico 应用的三层路由办法，则齐全克制了二层播送，缩小了资源开销。

2.可扩展性
Calico 应用与 Internet 相似的计划，Internet 的网络比任何数据中心都大，Calico 同样人造具备可扩展性。

3.简略而更容易 debug
因为没有隧道，意味着 workloads 之间门路更短更简略，配置更少，在 host 上更容易进行 debug 调试。

4.更少的依赖
Calico 仅依赖三层路由可达。

5.可适配性
Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

Calico 网络Node之间通信网络

IPIP(可跨网段通信)
从字面来了解，就是把一个IP数据包又套在一个IP包里，即把 IP 层封装到 IP 层的一个 tunnel。它的作用其实基本上就相当于一个基于IP层的网桥！一般来说，一般的网桥是基于mac层的，基本不需 IP，而这个 ipip 则是通过两端的路由做一个 tunnel，把两个原本不通的网络通过点对点连接起来。
相似vxlan 但封装开销比vxlan小效率绝对更高一些，但安全性也更差

Vxlan(可跨网段通信)
与Flannel Vxlan原理雷同

BGP(二层网络通信)
边界网关协定（Border Gateway Protocol, BGP）是互联网上一个外围的去中心化自治路由协定。它通过保护IP路由表或‘前缀’表来实现自治零碎（AS）之间的可达性，属于矢量路由协定。BGP不应用传统的外部网关协定（IGP）的指标，而应用基于门路、网络策略或规定集来决定路由。因而，它更适宜被称为矢量性协定，而不是路由协定。BGP，艰深的讲就是讲接入到机房的多条线路（如电信、联通、挪动等）交融为一体，实现多线单IP，BGP 机房的长处：服务器只须要设置一个IP地址，最佳拜访路由是由网络上的骨干路由器依据路由跳数与其它技术指标来确定的，不会占用服务器的任何零碎
实际上，Calico 我的项目提供的 BGP 网络解决方案，与 Flannel 的 host-gw 模式简直一样。也就是说，Calico也是基于路由表实现容器数据包转发，但不同于Flannel应用flanneld过程来保护路由信息的做法，而Calico我的项目应用BGP协定来主动保护整个集群的路由信息。

部署举荐计划:
BGP+Vxlan

其中BGP在官网的举荐计划中以50个节点为界区别了不同规模应用不同的部署计划

小规模网络:BGP peer 一对一网络：每个节点都是有N-1条路由，小型网络实用，当节点数N变多时，路由表更新及AIP-SERVER都须要接受很大的压力相似网络拓扑构造中的网状拓扑构造
大规模网络:BGP Reflector 路由反射器：抉择一到多个节点做为Reflector，所有节点路由都汇总给Reflector，所有节点都路由都指向Reflector ，适宜大型网络，相似网络拓扑构造中的星型网络

Calico网络模型次要工作组件

Felix：运行在每一台 Host 的 agent 过程，次要负责网络接口治理和监听、路由、ARP 治理、ACL 治理和同步、状态上报等。
etcd：分布式键值存储，次要负责网络元数据一致性，确保Calico网络状态的准确性，能够与kubernetes共用；
BGP Client（BIRD）：Calico 为每一台 Host 部署一个 BGP Client，应用 BIRD 实现，BIRD 是一个独自的继续倒退的我的项目，实现了泛滥动静路由协定比方 BGP、OSPF、RIP 等。在 Calico 的角色是监听 Host 上由 Felix 注入的路由信息，而后通过 BGP 协定播送通知残余 Host 节点，从而实现网络互通。
BGP Route Reflector：在大型网络规模中，如果仅仅应用 BGP client 造成 mesh 全网互联的计划就会导致规模限度，因为所有节点之间俩俩互联，须要 N^2 个连贯，为了解决这个规模问题，能够采纳 BGP 的 Router Reflector 的办法，使所有 BGP Client 仅与特定 RR 节点互联并做路由同步，从而大大减少连接数。

Calico有两种运行形式:

是让calico/node独立运行于Kubernetes集群之外，但calico/kube-controllers仍然须要以Pod资源运行中集群之上;
是以CNI插件形式配置Calico齐全托管运行于Kubernetes集群之上，相似于咱们后面已经部署托管Flannel网络插件的形式。
对于后一种形式,Calico提供了在线的部署清单，它别离为50节点及以下规模和50节点以上规模的Kubernetes集群应用Kubernetes API作为Dabastore提供了不同的配置清单，也为应用独立的etcd集群提供了专用配置清单。但这3种类型的配置清单中,Calico默认启用的是基于IPIP隧道的叠加网络，因此它会在所有流量上应用IPIP隧道而不是BGP路由。以下配置定义在部署清单中DaemonSet/calico-node资源的Pod模板中的calico-node容器之上。

配置选项
在IPv4类型的地址池上启用的IPIP及其类型，反对3种可用值
Always(全局流量)、Cross-SubNet(跨子网流量)和Never3种可用值

name: CALICO_IPV4POOL_IPIP
value: "Always"
是否在IPV4地址池上启用VXLAN隧道协定，取值及意义与Flannel的VXLAN后端雷同;但在全局流量启用VXLAN时将齐全不再须要BGP网络，倡议将相干的组件禁用
name: CALICO_ IPV4POOL_VXLAN
value: "Never"
须要留神的是，Calico调配的地址池须要同Ktbernetes集群的Pod网络的定义保持一致。Pod网络通常由kubeadm init初始化集群时应用--pod-network-cidr选项指定的网络，而Calico在其默认的配置清单中默认应用192.168.0.0/16作为Pod网络，因此部署Kubernetes集群时应该布局好要应用的网络地址，并设定此二者相匹配。对于已经应用了flannel的默认的10.244.0.0/16网络的环境而言,咱们也能够抉择批改资源清单中的定义，从而将其批改为其余网络地址,它定义在DaemonSet/calico-node资源的Pod模板中的calico-node容器之上。

官网链接：

https://docs.projectcalico.or...

示例1:装置calico

wget https://docs.projectcalico.org/manifests/calico.yaml[root@k8s-master ~]# cd /etc/kubernetes/manifests/[root@k8s-master manifests]# cat kube-controller-manager.yaml ...System Info:  Machine ID:                 32599e2a74704b2e95443e24ea15d4f6  System UUID:                34979a62-16de-4287-b149-2d4c2d8a70fb  Boot ID:                    f31de60e-4f89-4553-ba7a-99a46d049936  Kernel Version:             5.4.109-1.el7.elrepo.x86_64  OS Image:                   CentOS Linux 7 (Core)  Operating System:           linux  Architecture:               amd64  Container Runtime Version:  docker://20.10.7  Kubelet Version:            v1.19.9  Kube-Proxy Version:         v1.19.9PodCIDR:                      10.244.1.0/24  #第个节点的地址块都是由K8S调配PodCIDRs:                     10.244.1.0/24   Non-terminated Pods:          (17 in total)[root@k8s-master ~]# kubectl describe node k8s-node1System Info:  Machine ID:                 32599e2a74704b2e95443e24ea15d4f6  System UUID:                34979a62-16de-4287-b149-2d4c2d8a70fb  Boot ID:                    f31de60e-4f89-4553-ba7a-99a46d049936  Kernel Version:             5.4.109-1.el7.elrepo.x86_64  OS Image:                   CentOS Linux 7 (Core)  Operating System:           linux  Architecture:               amd64  Container Runtime Version:  docker://20.10.7  Kubelet Version:            v1.19.9  Kube-Proxy Version:         v1.19.9PodCIDR:                      10.244.1.0/24   #每个Node Pod都是由K8S调配IPPodCIDRs:                     10.244.1.0/24[root@k8s-master Network]# vim calico.yaml... "ipam": {              "type": "host-local",              "subnet": "usePodCidr"   #应用k8s ipam插件调配地址           },          "policy": {              "type": "k8s"          },...- name: FELIX_WIREGUARDMTU              valueFrom:                configMapKeyRef:                  name: calico-config                  key: veth_mtu            # The default IPv4 pool to create on startup if none exists. Pod IPs will be            # chosen from this range. Changing this value after installation will have            # no effect. This should fall within `--cluster-cidr`.            - name: CALICO_IPV4POOL_CIDR              value: "10.244.0.0/16"  #为了和之前的flannel 10.244.0.0/16适配            - name: CALICO_IPV4POOL_BLOCK_SIZE  #增加这一行批改默认块大小              value: "24"            - name: USE_POD_CIDR  #应用K8S的调配的IP地址，不然calico和K8S调配的地址会不一样              value: "true"

装置calico

[root@k8s-master plugin]# kubectl delete -f kube-flannel.ymlpodsecuritypolicy.policy "psp.flannel.unprivileged" deletedclusterrole.rbac.authorization.k8s.io "flannel" deletedclusterrolebinding.rbac.authorization.k8s.io "flannel" deletedserviceaccount "flannel" deletedconfigmap "kube-flannel-cfg" deleteddaemonset.apps "kube-flannel-ds" deleted[root@k8s-master plugin]# kubectl apply -f calico.yaml configmap/calico-config createdcustomresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/kubecontrollersconfigurations.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org createdcustomresourcedefinition.apiextensions.k8s.io/networksets.crd.projectcalico.org createdclusterrole.rbac.authorization.k8s.io/calico-kube-controllers createdclusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers createdclusterrole.rbac.authorization.k8s.io/calico-node createdclusterrolebinding.rbac.authorization.k8s.io/calico-node createddaemonset.apps/calico-node createdserviceaccount/calico-node createddeployment.apps/calico-kube-controllers createdserviceaccount/calico-kube-controllers createdpoddisruptionbudget.policy/calico-kube-controllers created

calico几个组件

[root@k8s-master ~]# ps aux|grep calicoroot     10867  0.0  0.1 112816  2156 pts/1    S+   13:51   0:00 grep --color=auto calicoroot     20680  0.0  2.3 1215184 35216 ?       Sl   10:27   0:06 calico-node -allocate-tunnel-addrsroot     20681  0.0  2.1 1215184 32672 ?       Sl   10:27   0:06 calico-node -monitor-addressesroot     20682  2.4  3.3 1510624 51636 ?       Sl   10:27   4:54 calico-node -felixroot     20683  0.0  2.3 1657832 35496 ?       Sl   10:27   0:09 calico-node -confdroot     20686  0.0  2.0 1214928 31628 ?       Sl   10:27   0:05 calico-node -monitor-token

因为calico并没有应用k8s的ipam调配IP,所以节点会有2个IP,一个是K8S调配的IP 一个是calico调配的IP

Kernel IP routing tableDestination     Gateway         Genmask         Flags Metric Ref    Use Iface0.0.0.0         192.168.54.2    0.0.0.0         UG    101    0        0 eth4172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0192.168.4.0     0.0.0.0         255.255.255.0   U     100    0        0 eth0192.168.12.0    192.168.4.172   255.255.255.0   UG    0      0        0 tunl0  #能够看到tunl0的路由信息192.168.51.0    192.168.4.173   255.255.255.0   UG    0      0        0 tunl0  #同时能够看到节点的IP不像之前肯定是间断的192.168.54.0    0.0.0.0         255.255.255.0   U     101    0        0 eth4192.168.113.0   192.168.4.171   255.255.255.0   UG    0      0        0 tunl0  #隧道接口192.168.237.0   0.0.0.0         255.255.255.0   U     0      0        0 *192.168.237.1   0.0.0.0         255.255.255.255 UH    0      0        0 cali7c0fb624285192.168.237.2   0.0.0.0         255.255.255.255 UH    0      0        0 caliedaf285d4ef192.168.237.3   0.0.0.0         255.255.255.255 UH    0      0        0 cali854da94d42a[root@k8s-master calico]# ip route listdefault via 192.168.54.2 dev eth4 proto static metric 101 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown 192.168.4.0/24 dev eth0 proto kernel scope link src 192.168.4.170 metric 100 192.168.12.0/24 via 192.168.4.172 dev tunl0 proto bird onlink   #能够看到tunl0的路由信息192.168.51.0/24 via 192.168.4.173 dev tunl0 proto bird onlink    192.168.54.0/24 dev eth4 proto kernel scope link src 192.168.54.170 metric 101 192.168.113.0/24 via 192.168.4.171 dev tunl0 proto bird onlink blackhole 192.168.237.0/24 proto bird 192.168.237.1 dev cali7c0fb624285 scope link 192.168.237.2 dev caliedaf285d4ef scope link 192.168.237.3 dev cali854da94d42a scope link

192.168.51.0/24 via 192.168.4.173 dev tunl0 proto bird onlink 上面的路由表能够看到 calico会为每个节点调配网络地址段并不是应用节点的网络地址

[root@k8s-node1 ~]# ip route listdefault via 192.168.54.2 dev eth4 proto static metric 101 172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown 192.168.4.0/24 dev eth0 proto kernel scope link src 192.168.4.171 metric 100 192.168.12.0/24 via 192.168.4.172 dev tunl0 proto bird onlink 192.168.51.0/24 via 192.168.4.173 dev tunl0 proto bird onlink 192.168.54.0/24 dev eth4 proto kernel scope link src 192.168.54.171 metric 101 blackhole 192.168.113.0/24 proto bird   #黑洞 代表本人网段 192.168.237.0/24 via 192.168.4.170 dev tunl0 proto bird onlink

查看目前工作模式

[root@k8s-master calico]# kubectl api-resourcesNAME                              SHORTNAMES   APIGROUP                       NAMESPACED   KINDbgpconfigurations                              crd.projectcalico.org          false        BGPConfigurationbgppeers                                       crd.projectcalico.org          false        BGPPeerblockaffinities                                crd.projectcalico.org          false        BlockAffinityclusterinformations                            crd.projectcalico.org          false        ClusterInformationfelixconfigurations                            crd.projectcalico.org          false        FelixConfigurationglobalnetworkpolicies                          crd.projectcalico.org          false        GlobalNetworkPolicyglobalnetworksets                              crd.projectcalico.org          false        GlobalNetworkSethostendpoints                                  crd.projectcalico.org          false        HostEndpointipamblocks                                     crd.projectcalico.org          false        IPAMBlockipamconfigs                                    crd.projectcalico.org          false        IPAMConfigipamhandles                                    crd.projectcalico.org          false        IPAMHandleippools                                        crd.projectcalico.org          false        IPPool  #calico地址池kubecontrollersconfigurations                  crd.projectcalico.org          false        KubeControllersConfigurationnetworkpolicies                                crd.projectcalico.org          true         NetworkPolicynetworksets                                    crd.projectcalico.org          true         NetworkSet[root@k8s-master calico]# kubectl get  ippools -o yaml....  spec:    blockSize: 24   #掩码长度    cidr: 192.168.0.0/16  #地址池    ipipMode: Always      #能够看到目前为ipip模式    natOutgoing: true    nodeSelector: all()

拜访抓包

[root@k8s-master PodControl]# kubectl get pod -o wideNAME                              READY   STATUS    RESTARTS   AGE    IP             NODE        NOMINATED NODE   READINESS GATESdeployment-demo-fb544c5d8-r7pc8   1/1     Running   0          8m3s   192.168.51.1   k8s-node3   <none>           <none>deployment-demo-fb544c5d8-splfr   1/1     Running   0          8m3s   192.168.12.1   k8s-node2   <none>           <none>[root@k8s-master PodControl]# kubectl exec deployment-demo-fb544c5d8-r7pc8 -it -- /bin/sh[root@deployment-demo-fb544c5d8-r7pc8 /]# ifconfigeth0      Link encap:Ethernet  HWaddr 16:96:97:3F:F3:C5            inet addr:192.168.51.1  Bcast:192.168.51.1  Mask:255.255.255.255          UP BROADCAST RUNNING MULTICAST  MTU:1480  Metric:1          RX packets:0 errors:0 dropped:0 overruns:0 frame:0          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0          collisions:0 txqueuelen:0           RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)lo        Link encap:Local Loopback            inet addr:127.0.0.1  Mask:255.0.0.0          UP LOOPBACK RUNNING  MTU:65536  Metric:1          RX packets:0 errors:0 dropped:0 overruns:0 frame:0          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0          collisions:0 txqueuelen:1000           RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)[root@deployment-demo-fb544c5d8-r7pc8 /]# curl 192.168.12.1iKubernetes demoapp v1.0 !! ClientIP: 192.168.51.1, ServerName: deployment-demo-fb544c5d8-splfr, ServerIP: 192.168.12.1![root@deployment-demo-fb544c5d8-r7pc8 /]# curl 192.168.12.1iKubernetes demoapp v1.0 !! ClientIP: 192.168.51.1, ServerName: deployment-demo-fb544c5d8-splfr, ServerIP: 192.168.12.1![root@deployment-demo-fb544c5d8-r7pc8 /]# curl 192.168.12.1[root@k8s-node2 ~]# tcpdump -i eth0 -nn ip host 192.168.4.172  and host 192.168.4.173tcpdump: verbose output suppressed, use -v or -vv for full protocol decodelistening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes11:48:24.421003 IP 192.168.4.173 > 192.168.4.172: IP 192.168.51.1.33436 > 192.168.12.1.80: Flags [S], seq 3259804851, win 64800, options [mss 1440,sackOK,TS val 2008488248 ecr 0,nop,wscale 7], length 0 (ipip-proto-4)11:48:24.421093 IP 192.168.4.172 > 192.168.4.173: IP 192.168.12.1.80 > 192.168.51.1.33436: Flags [S.], seq 3234480084, ack 3259804852, win 64260, options [mss 1440,sackOK,TS val 1053230437 ecr 2008488248,nop,wscale 7], length 0 (ipip-proto-4)  #能够看到(ipip-proto-4)为IPIP模式11:48:24.422305 IP 192.168.4.173 > 192.168.4.172: IP 192.168.51.1.33436 > 192.168.12.1.80: Flags [.], ack 1, win 507, options [nop,nop,TS val 2008488250 ecr 1053230437], length 0 (ipip-proto-4)11:48:24.422308 IP 192.168.4.173 > 192.168.4.172: IP 192.168.51.1.33436 > 192.168.12.1.80: Flags [P.], seq 1:77, ack 1, win 507, options [nop,nop,TS val 2008488250 ecr 1053230437], length 76: HTTP: GET / HTTP/1.1 (ipip-proto-4)11:48:24.422554 IP 192.168.4.172 > 192.168.4.173: IP 192.168.12.1.80 > 192.168.51.1.33436: Flags [.], ack 77, win 502, options [nop,nop,TS val 1053230439 ecr 2008488250], length 0 (ipip-proto-4)11:48:24.431688 IP 192.168.4.172 > 192.168.4.173: IP 192.168.12.1.80 > 192.168.51.1.33436: Flags [P.], seq 1:18, ack 77, win 502, options [nop,nop,TS val 1053230447 ecr 2008488250], length 17: HTTP: HTTP/1.0 200 OK (ipip-proto-4)11:48:24.432638 IP 192.168.4.172 > 192.168.4.173: IP 192.168.12.1.80 > 192.168.51.1.33436: Flags [FP.], seq 18:276, ack 77, win 502, options [nop,nop,TS val 1053230449 ecr 2008488250], length 258: HTTP (ipip-proto-4)11:48:24.433660 IP 192.168.4.173 > 192.168.4.172: IP 192.168.51.1.33436 > 192.168.12.1.80: Flags [.], ack 18, win 507, options [nop,nop,TS val 2008488261 ecr 1053230447], length 0 (ipip-proto-4)11:48:24.437531 IP 192.168.4.173 > 192.168.4.172: IP 192.168.51.1.33436 > 192.168.12.1.80: Flags [F.], seq 77, ack 277, win 505, options [nop,nop,TS val 2008488261 ecr 1053230449], length 0 (ipip-proto-4)11:48:24.437775 IP 192.168.4.172 > 192.168.4.173: IP 192.168.12.1.80 > 192.168.51.1.33436: Flags [.], ack 78, win 502, options [nop,nop,TS val 1053230454 ecr 2008488261], length 0 (ipip-proto-4)IP 192.168.4.172 > 192.168.4.173: IP 192.168.12.1.80 > 192.168.51.1.33436

能够看到默认为ipip模式也是通过封装在转发的和Flannel很相似,但绝对Flannel通过虚构网桥CNI calico间接内核(内核的路由由 kube-proxy或IPVS生成)到在由tunl0传输想对Flannel少了一层交换机替换的过程,性能相比Flannel会快一些但这并不是calico最佳的模式

calicoctl命令装置与应用

**calicoctl装置的2种形式
第1种形式 calicoctl**