前言
春暖花开的五月,疫情根本过来,值得庆祝,在这美妙的日子里咱们来实战一下 K8S 的高可用负载平衡集群吧。
更新历史
- 2020 年 05 月 07 日 – 初稿 – 左程立
- 原文地址 – https://blog.zuolinux.com/2020/05/07/k8s-cluster-on-centos7.html
平台环境
软件信息
- CentOS Linux release 7.7.1908 (Kernel 3.10.0-1062.18.1.el7.x86_64)
- Docker CE 18.09.9
- Kubernetes v1.18.2
- Calico v3.8
- Keepalived v1.3.5
- HAproxy v1.5.18
硬件信息
主机名 | ip |
---|---|
master01 | 192.168.10.12 |
master02 | 192.168.10.13 |
master03 | 192.168.10.14 |
work01 | 192.168.10.15 |
work02 | 192.168.10.16 |
work03 | 192.168.10.17 |
VIP | 192.168.10.19 |
集群配置
初始化
master/worker 均执行
# cat >> /etc/hosts << EOF
192.168.10.12 master01
192.168.10.13 master02
192.168.10.14 master03
192.168.10.15 work01
192.168.10.16 work02
192.168.10.17 work03
EOF
# 敞开防火墙
systemctl stop firewalld
systemctl disable firewalld
# 敞开 SeLinux
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
# 敞开 swap
swapoff -a
yes | cp /etc/fstab /etc/fstab_bak
cat /etc/fstab_bak |grep -v swap > /etc/fstab
# 装置 wget
yum install wget -y
# 备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# 阿里云 yum 源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# 获取阿里云 epel 源
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo# 清理缓存并创立新的缓存
yum clean all && yum makecache
# 更新
yum update -y
#同步工夫
timedatectl
timedatectl set-ntp true
装置 Docker
master/worker 均装置
# 装置 Docker CE
# 设置仓库
# 装置所需包
yum install -y yum-utils device-mapper-persistent-data lvm2
# 新增 Docker 装置源
yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 装置 Docker CE.
yum install -y containerd.io \
docker-ce-18.09.9 \
docker-ce-cli-18.09.9
# 启动 Docker 并增加开机启动
systemctl start docker
systemctl enable docker
#将 Docker 的 Cgroup Driver 批改为 systemd
#批改为国内源
cat > /etc/docker/daemon.json <<EOF
{"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {"max-size": "100m"},
"storage-driver": "overlay2",
"registry-mirrors":[
"http://hub-mirror.c.163.com",
"https://docker.mirrors.ustc.edu.cn",
"https://registry.docker-cn.com"
]}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# Restart docker.
systemctl daemon-reload
systemctl restart docker
装置 kubeadm、kubelet、kubectl
master/worker 节点均执行
# 配置 K8S 的 yum 源,最好应用官网源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 减少配置
cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward=1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
# 加载
sysctl --system
# 装置以后日期最新稳定版 (v1.18.2) kubelet、kubeadm、kubectl
yum install -y kubelet-1.18.2 kubeadm-1.18.2 kubectl-1.18.2 --disableexcludes=kubernetes
# 启动并设置 kubelet 开机启动
systemctl start kubelet
systemctl enable kubelet
HAProxy 实现 apiserver 负载平衡集群
所有 master 节点执行
yum install haproxy-1.5.18 -y
cat > /etc/haproxy/haproxy.cfg <<EOF
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
defaults
mode http
log global
option httplog
option dontlognull
option http-server-close
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
frontend k8s-api
mode tcp
option tcplog
bind *:16443
default_backend k8s-api
backend k8s-api
mode tcp
balance roundrobin
server master01 192.168.10.12:6443 check
server master02 192.168.10.13:6443 check
server master03 192.168.10.14:6443 check
EOF
所有 master 节点启动 HAProxy
systemctl start haproxy
systemctl enable haproxy
Keepalived 实现 apiserver 高可用集群
所有 master 节点执行
yum -y install keepalived psmisc
master01 上 keepalived 的配置:
# cat > /etc/keepalived/keepalived.conf <<EOF
! Configuration File for keepalived
global_defs {
router_id master01
script_user root
enable_script_security
}
vrrp_script check_haproxy {
script "killall -0 haproxy"
interval 2
weight 10
}
vrrp_instance VI_1 {
state MASTER
interface ens192
virtual_router_id 50
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {192.168.10.19}
track_script {check_haproxy}
}
EOF
master02 上 keepalived 的配置:
# cat > /etc/keepalived/keepalived.conf <<EOF
! Configuration File for keepalived
global_defs {
router_id master02
script_user root
enable_script_security
}
vrrp_script check_haproxy {
script "killall -0 haproxy"
interval 2
weight 10
}
vrrp_instance VI_1 {
state BACKUP
interface ens192
virtual_router_id 50
priority 98
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {192.168.10.19}
track_script {check_haproxy}
}
EOF
master03 上 keepalived 的配置:
# cat > /etc/keepalived/keepalived.conf <<EOF
! Configuration File for keepalived
global_defs {
router_id master03
script_user root
enable_script_security
}
vrrp_script check_haproxy {
script "killall -0 haproxy"
interval 2
weight 10
}
vrrp_instance VI_1 {
state BACKUP
interface ens192
virtual_router_id 50
priority 96
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {192.168.10.19}
track_script {check_haproxy}
}
EOF
所有 master 节点执行
service keepalived start
systemctl enable keepalived
留神
- vrrp_script 中参数 weight 肯定要大于 master 和 backup 的 priority 的相差值
- vrrp_instance 中参数 nopreempt 能够避免 master 复原后主动回切
创立 K8S 集群
在初始化之前,须要先设置 hosts 解析
MASTER_IP 为 VIP 的地址
APISERVER_NAME 为 VIP 的域名
export MASTER_IP=192.168.10.19
export APISERVER_NAME=k8s.api
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts
在 master01 上执行 kubeadm init 进行初始化
kubeadm init \
--apiserver-advertise-address 0.0.0.0 \
--apiserver-bind-port 6443 \
--cert-dir /etc/kubernetes/pki \
--control-plane-endpoint k8s.api \
--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version 1.18.2 \
--pod-network-cidr 192.10.0.0/16 \
--service-cidr 192.20.0.0/16 \
--service-dns-domain cluster.local \
--upload-certs
留神保留后果中两行 kubeadm join 结尾内容,用于增加其余 master、worker 节点到集群中。
加载环境变量
master01 上执行,用于治理集群
如果在 root 用户下
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source .bash_profile
如果非 root 用户下
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
装置 Pod 网络组件
master01 上执行
# 获取配置文件
mkdir calico && cd calico
wget https://docs.projectcalico.org/v3.8/manifests/calico.yaml
# 批改配置文件
vi calico.yaml
# 找到 192.168.0.0/16,批改为 192.10.0.0/16
# 部署 Pod 网络组件
kubectl apply -f calico.yaml
实时查看 pod 的状态
watch kubectl get pods --all-namespaces -o wide
增加其余 master 节点到 K8S 集群
在其余 master 节点执行
应用 master01 上 kubeadm init 的执行后果中蕴含 join 的指令信息
端口由 6443 批改为 16443
export MASTER_IP=192.168.10.19
export APISERVER_NAME=k8s.api
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts
kubeadm join k8s.api:16443 --token ztjux9.2tau56zck212j9ra \
--discovery-token-ca-cert-hash sha256:a2b552266902fb5f6620330fc1a6638a9cdd6fec3408edba1082e6c8389ac517 \
--control-plane --certificate-key 961494e7d0a9de0219e2b0dc8bdaa9ca334ecf093a6c5f648aa34040ad39b61a
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source .bash_profile
将所有 Worker 节点增加到 K8S 集群
在 worker 节点执行
应用 master01 上 kubeadm init 的执行后果中蕴含 join 的指令信息
端口由 6443 批改为 16443
export MASTER_IP=192.168.10.19
export APISERVER_NAME=k8s.api
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts
kubeadm join k8s.api:16443 --token ztjux9.2tau56zck212j9ra \
--discovery-token-ca-cert-hash sha256:a2b552266902fb5f6620330fc1a6638a9cdd6fec3408edba1082e6c8389ac517
master01 上查看集群
watch kubectl get nodes -o wide
全副为 Ready 阐明集群装置胜利。
破坏性测试
- 把 master01 的 haproxy 停掉
- 把 master01 机器关机
能够看到 VIP 能够漂移到 master02 上
而后能够在 master02 做同样操作察看 VIP 是否能够漂到 master03 上
结束语
明天次要是实战搭建了 K8S 高可用负载平衡集群,是我实际操作的记录。
那么你有没有发现有个中央其实能够进一步的优化。
送你一碗鸡汤喝
- 问题遇到的越早越好,如果你没有遇到问题,阐明你的问题更大。
参考文章
https://wsgzao.github.io/post…
https://www.kubernetes.org.cn…
分割我
微信公众号:zuolinux_com