kubeadmin方式部署calico网络模式的k8s集群

# 1.环境准备 准备三台虚拟机，一主两从 1.主服务器执行 ``` hostnamectl set-hostname k8s-master01 ``` 2.从服务器1 ``` hostnamectl set-hostname k8s-node01 ``` 3.从服务器2 ``` hostnamectl set-hostname k8s-node02 ``` 4.三个机器同时执行 ``` yum install -y conntrack ntpdate ntp ipvsadm ipset iptables curl sysstat libseccomp wget vim net-tools git #安装服务 swapoff -a #临时关闭swap分区，重启后失效 free -m #查看swap是否关闭 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab #注释掉/etc/fstab中的swap分区开机自启的选项，这样就不会开机自启了。 systemctl stop postfix && systemctl disable postfix #关闭系统不需要的进程 systemctl stop NetworkManager && systemctl disable NetworkManager #关闭NetworkManager服务 vim /etc/hosts #配置三台机器的hosts文件 192.168.159.82 k8s-master01 m1 192.168.159.83 k8s-node01 n1 192.168.159.84 k8s-node02 n2 ``` # 2.配置内核参数 三台机器同时执行： ``` cat > kubernetes.conf <<EOF #添加以下内容 net.bridge.bridge-nf-call-iptables=1 #IPV4中，网桥的流量必须被防火墙处理 net.bridge.bridge-nf-call-ip6tables=1 #IPV6中，网桥的必须被防火墙处理 net.ipv4.ip_forward=1 #开启路由转发 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它 vm.overcommit_memory=1 # 不检查物理内存是否够用 vm.panic_on_oom=0 # 开启 OOM fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52706963 fs.nr_open=52706963 net.ipv6.conf.all.disable_ipv6=1 net.netfilter.nf_conntrack_max=2310720 EOF cp kubernetes.conf /etc/sysctl.d/kubernetes.conf sysctl -p /etc/sysctl.d/kubernetes.conf #立即应用/etc/sysctl.d/kubernetes.conf文件中的内核参数设置 ``` # 3.配置ntp时间服务器 k8s-master01执行： ``` vim /etc/chrony.conf #注销几个server选项，添加server主时间服务器的配置 server ntp1.aliyun.com iburst #主时间服务器同步阿里云的时间服务器 server ntp2.aliyun.com iburst allow 172.16.66.0/24 #设置允许哪些网段的从服务器连接 systemctl restart chronyd systemctl enable chronyd #启动时ntp服务，并设置开机自启 ``` k8s-node01和k8s-node02一起执行： ``` vim /etc/chrony.conf #注释server选项 server 172.16.66.101 iburst #指向时间同步主服务器的IP systemctl restart chronyd systemctl enable chronyd #启动ntp服务，并设置开机自启。 ``` # 4.配置持久化日志目录 k8s-master01执行： ``` mkdir /var/log/journal #持久化保存日志的目录 mkdir /etc/systemd/journald.conf.d cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF [Journal] # 持久化保存到磁盘 Storage=persistent # 压缩历史日志 Compress=yes SyncIntervalSec=5m RateLimitInterval=30s RateLimitBurst=1000 # 最大占用空间 10G SystemMaxUse=10G # 单日志文件最大 200M SystemMaxFileSize=200M # 日志保存时间 2 周 MaxRetentionSec=2week # 不将日志转发到 syslog ForwardToSyslog=no EOF systemctl restart systemd-journald ``` # 5.升级物理机内核 k8s-master01、k8s-node01、k8s-node02三个机器一起执行 ``` 上传 kernel-it-4.4.222-1.el7.elrepo.x86_64.rpm yum -y install kernel-lt-4.4.222-1.el7.elrepo.x86_64.rpm #升级内核 cat /boot/grub2/grub.cfg | grep 4.4 #查看升级后的内核信息 grub2-set-default 'CentOS Linux (4.4.222-1.el7.elrepo.x86_64) 7 (Core)' #设置为默认启动内核 reboot #重启，加载内核 modprobe br_netfilter #重启后，加载br_netfilter配置文件 ``` # 6.配置ipvs服务 k8s-master01、k8s-node01、k8s-node02三个机器一起执行 ``` cat > /etc/sysconfig/modules/ipvs.modules <<EOF #添加以下内容，kube-proxy开启ipvs的前置条件 #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4 ``` # 7.安装docker k8s-master01、k8s-node01、k8s-node02三个机器一起执行 ``` 上传docker-ce-17.03.0.ce-1.el7.centos.x86_64.rpm和docker-ce-selinux-17.03.0.ce-1.el7.centos.noarch.rpm yum -y install docker-ce-* #安装刚刚上传的docker的rpm包 cat > /etc/docker/daemon.json <<EOF #配置阿里云镜像加速器 { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "registry-mirrors": ["https://si4p9a1f.mirror.aliyuncs.com"] } EOF mkdir -p /etc/systemd/system/docker.service.d systemctl enable docker && reboot #重启，开机时，使物理机防火墙接管docker网络 ``` # 8.安装kubeadm、kubectl、kubelet k8s-master01、k8s-node01、k8s-node02三个机器一起执行 ``` cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1 #安装kubeadmin服务 systemctl enable kubelet.service ``` # 9.导入k8s组件基础镜像 k8s-master01、k8s-node01、k8s-node02三个机器一起执行 ``` 将kubeadm-basic.images.tar.gz上传至/root/并解压 vim load-image.sh #编写镜像导入脚本 #!/bin/bash ls /root/kubeadm-basic.images > /tmp/images.cache for i in $( cat /tmp/images.cache ) do echo $i docker load -i /root/kubeadm-basic.images/$i done rm -rf /tmp/images.cache chmod a+x load-image.sh /root/load-image.sh #执行脚本，导入镜像 docker images #查看镜像导入结果 ``` # 10.k8s初始化配置 k8s-master01执行 ``` kubeadm config print init-defaults > /root/kubeadm-config.yaml #打印一个初始化配置文件，保存在kubeadm-config.yaml文件中 vim kubeadm-config.yaml #修改以下配置 advertiseAddress:192.168.159.82 #修改为当前物理机（k8s-master01）的IP kubernetesVersion:v1.15.1 #版本号改为v1.15.1 podSubnet: "100.100.0.0/16" #neworking:下添加，与dnsDomain和serviceSubnet在同一级。 #calico网络模式下，podSubnet网段只要与物理机的不一致即可 #文件最后添加以下配置 --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration featureGates: SupportIPVSProxyMode: true mode: ipvs #指定当前kube proxy的配置文件走的模式必须是IPVS kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log #初始化，基于kubeadm-config.yaml这个配置文件初始化，验证这个--experimental-upload-certs安全证书，通过管道符将当前的输出通过tee命令把它实时的保存在这个文件夹当中，并且实时展示。 #命令执行后，最后会生成kubectl join命令，将此命令复制，用作node节点加入k8s集群用。 docker ps #查看已经启动的组件容器 mkdir -p $HOME/.kube #在家目录下，创建一个.kube文件。 cp -i /etc/kubernetes/admin.conf $HOME/.kube/config #声明使root用户为k8s集群管理员 chown $(id -u):$(id -g) $HOME/.kube/config #给文件赋予权限 kubectl get node #查看节点信息 ``` k8s-node01、k8s-node02一起执行 ``` kubeadm join 192.168.159.82:6443 --token abcdef.0123456789abcdef \ --discovery-token-ca-cert-hash sha256:37be6809f09030382b58bce62525d810224b0e25af4460b8c6da83e0d986c036 #kubeadm init命令初始化结果 ``` k8s-master01执行 ``` kubectl get