关于kubernetes:聊聊-K8SK8S集群搭建实战

一、环境筹备

1.1 硬件要求

1.2 集群节点

二、下载 centos

centos 下载地址：

http://mirrors.aliyun.com/centos/7/isos/x86_64/

举荐大家应用 centos7.6 以上版本

查看 centos 零碎版本命令：

cat /etc/centos-release

配置阿里云 yum 源：

# 1. 下载安装 wget 
yum install -y wget 

# 2. 备份默认的 yum 
mv /etc/yum.repos.d /etc/yum.repos.d.backup 

# 3. 设置新的 yum 目录 
mkdir -p /etc/yum.repos.d 

# 4. 下载阿里 yum 配置到该目录中，抉择对应版本 
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 

# 5. 更新 epel 源为阿里云 epel 源 
mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup 
mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel- testing.repo.backup
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel- 7.repo

# 6. 重建缓存 
yum clean all yum makecache 

# 7. 看一下 yum 仓库有多少包 
yum repolist 
yum update

降级零碎内核

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm 
yum --enablerepo=elrepo-kernel install -y kernel-lt 
grep initrd16 /boot/grub2/grub.cfg 
grub2-set-default 0
reboot

查看 centos 零碎内核命令：

uname -r 
uname -a

查看 CPU 命令：

lscpu

查看内存命令：

free 
free -h

查看硬盘信息：

fdisk -l

三、centos7 系统配置

3.1 敞开防火墙

systemctl stop firewalld 
systemctl disable firewalld

3.2 敞开 selinux

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
setenforce 0

3.3 网桥过滤

vi /etc/sysctl.conf 

net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
net.bridge.bridge-nf-call-arptables = 1 
net.ipv4.ip_forward=1 net.ipv4.ip_forward_use_pmtu = 0 

# 失效命令 
sysctl --system
# 查看成果 
sysctl -a|grep "ip_forward"

3.4 开启 IPVS

# 装置 IPVS 
yum -y install ipset ipvsdm

# 编译 ipvs.modules 文件
vi /etc/sysconfig/modules/ipvs.modules

# 文件内容如下
#!/bin/bash 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack_ipv4

# 赋予权限并执行 
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&lsmod | grep -e ip_vs -e nf_conntrack_ipv4

# 重启电脑，查看是否失效
reboot 
lsmod | grep ip_vs_rr

3.5 同步工夫

# 装置软件
yum -y install ntpdate

# 向阿里云服务器同步工夫
ntpdate time1.aliyun.com

# 删除本地工夫并设置时区为上海
rm -rf /etc/localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 查看工夫 
date -R || date

3.6 命令补全

# 装置 bash-completion 
yum -y install bash-completion bash-completion-extras 
# 应用 bash-completion 
source /etc/profile.d/bash_completion.sh

3.7 敞开 swap 分区

# 长期敞开
swapoff -a

# 永恒敞开
vi /etc/fstab

# 将文件中的 /dev/mapper/centos-swap 这行代码正文掉
# /dev/mapper/centos-swap swap swap defaults 0 0

# 确认 swap 曾经敞开：若 swap 行都显示 0 则示意敞开胜利
free -m

3.8 hosts 配置

vi /etc/hosts

# 文件内容如下: 
10.211.55.15 k8s-master01 
10.211.55.16 k8s-node01 
10.211.55.17 k8s-node02 
10.211.55.18 k8s-node03

四、装置 docker

4.1 阿里云开发者平台

开发者平台官网地址：能够参考阿里云官网提供的 docker 装置教程进行装置。

https://www.aliyun.com/

4.2 装置 docker 前置条件

yum install -y yum-utils device-mapper-persistent-data lvm2

4.3 增加源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 

yum makecache fast

4.4 查看 docker 更新版本

yum list docker-ce --showduplicates | sort -r

4.5 装置 docker 最新版本

yum -y install docker-ce

# 装置指定版本：yum -y install docker-ce-18.09.8

4.6 开启 docker 服务

systemctl start docker

systemctl status docker

4.7 装置阿里云镜像加速器

tee /etc/docker/daemon.json <<-'EOF' 
{"registry-mirrors": ["本人的阿里云镜像减速地址"] 
}
EOF

systemctl daemon-reload 
systemctl restart docker

4.8 设置 docker 开机启动服务

systemctl enable docker

4.9 批改 Cgroup Driver

# 批改 daemon.json，新增：vi /etc/docker/daemon.json

"exec-opts": ["native.cgroupdriver=systemd"]

# 重启 docker 服务
systemctl daemon-reload
systemctl restart docker

# 查看批改后状态
docker info | grep Cgroup

批改 cgroupdriver 是为了打消装置 k8s 集群时的告警：
[WARNING IsDockerSystemdCheck]:
detected“cgroupfs”as the Docker cgroup driver. The recommended driver is“systemd”.
Please follow the guide at https://kubernetes.io/docs/se…

4.10 温习 docker 常用命令

docker -v 
docker version 
docker info

五、应用 kubeadm 疾速装置

5.1 装置 yum 源

5.1.1 新建 repo 文件

 vi /etc/yum.repos.d/kubernetes.repo

5.1.2 文件内容

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

如果有报错，则把 gpgcheck、repo_gpgcheck 的值设置成 0。

5.1.3 更新缓存

yum clean all 
yum -y makecache

5.1.4 验证源是否可用

yum list | grep kubeadm 
# 如果提醒要验证 yum-key.gpg 是否可用，输出 y。# 查找到 kubeadm。显示版本 

5.1.5 查看 k8s 版本

 yum list kubelet --showduplicates | sort -r

5.1.6 装置 k8s-1.17.5

 yum install -y kubelet-1.17.5 kubeadm-1.17.5 kubectl-1.17.5

5.2 设置 kubelet

5.2.1 减少配置信息

# 如果不配置 kubelet，可能会导致 K8S 集群无奈启动。为实现 docker 应用的 cgroupdriver 与 kubelet 应用的 cgroup 的一致性。vi /etc/sysconfig/kubelet 

KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

5.2.2 设置开机启动

systemctl enable kubelet

5.3 初始化镜像

如果是第一次装置 k8s，手里没有备份好的镜像，能够执行如下操作。

5.3.1 查看装置集群须要的镜像

kubeadm config images list

5.3.2 编写执行脚本

mkdir -p /data
cd /data 
vi k8s.1.17.5-images.sh

images=( 
    kube-apiserver:v1.17.5 
    kube-controller-manager:v1.17.5 
    kube-scheduler:v1.17.5 
    kube-proxy:v1.17.5 
    pause:3.1 
    etcd:3.4.3-0 
    coredns:1.6.5 
)
for imageName in ${images[@]};
do
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
    docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
    docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

5.3.3 执行脚本

cd /data 
# 给脚本受权 
chmod +x images.sh
# 执行脚本 
./k8s.1.17.5-images.sh

5.3.4 保留镜像

docker save -o k8s.1.17.5.tar \ 
k8s.gcr.io/kube-proxy:v1.17.5 \ 
k8s.gcr.io/kube-apiserver:v1.17.5 \ 
k8s.gcr.io/kube-controller-manager:v1.17.5 \ 
k8s.gcr.io/kube-scheduler:v1.17.5 \ 
k8s.gcr.io/coredns:1.6.5 \ 
k8s.gcr.io/etcd:3.4.3-0 \ 
k8s.gcr.io/pause:3.1 \

5.3.5 导入镜像

导入 master 节点镜像 tar 包

# master 节点须要全副镜像 
docker load -i k8s.1.17.5.tar

导入 node 节点镜像 tar 包

# node 节点须要 kube-proxy:v1.17.5 和 pause:3.1,2 个镜像 
docker load -i k8s.1.17.5.node.tar

5.4 初始化集群

配置 k8s 集群网络

5.4.1 calico 官网地址

# 官网下载地址：https://docs.projectcalico.org/v3.14/manifests/calico.yaml 
# github 地址：https://github.com/projectcalico/calico 
# 镜像下载：docker pull calico/cni:v3.14.2 
docker pull calico/pod2daemon-flexvol:v3.14.2 
docker pull calico/node:v3.14.2 
docker pull calico/kube-controllers:v3.14.2

# 配置 hostname：hostnamectl set-hostname k8s-master01

须要这么多镜像

5.4.2 初始化集群信息:calico 网络

kubeadm init --apiserver-advertise-address=192.168.198.156 --kubernetes- version v1.17.5 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.81.0.0/16

192.168.198.156 替换成你主节点的 IP 地址。

5.4.3 执行配置命令

mkdir -p $HOME/.kube 
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 
sudo chown $(id -u):$(id -g) $HOME/.kube/config

5.4.4 node 节点退出集群信息

kubeadm join 192.168.198.186:6443 --token kksfgq.b9bhf82y35ufw4np \ 
    --discovery-token-ca-cert-hash sha256:e1e347e6db1db5c13fcdc2c7d51a2f9029100a4cc13c2d89a2dbfa5077f5b07f

5.4.5 kubectl 命令主动补全

echo "source <(kubectl completion bash)" >> ~/.bash_profile 
source ~/.bash_profile

5.4.6 测试 k8s 集群环境

kubectl get nodes

发现集群的节点都是 NotReady 的状态，这是因为你还没有利用 calico 网络的配置。

kubectl apply -f calico.yml

执行完后，发现整个 k8s 集群环境是失常的了，至此，k8s 集群搭建实战实现。