Day27-containerd

（1）早在2016年3月，Docker 1.11的Docker Engine里就包含了containerd，而现在则是把containerd从Docker Engine里
彻底剥离出来，作为一个独立的开源项目独立发展，目标是提供一个更加开放、稳定的容器运行基础设施。和原先包含在Docker Engine里
containerd相比，独立的containerd将具有更多的功能，可以涵盖整个容器运行时管理的所有需求。

（2）containerd并不是直接面向最终用户的，而是主要用于集成到更上层的系统里，比如Swarm，Kubernetes，Mesos等容器编排系统。

（3）containerd以Daemon的形式运行在系统上，通过暴露底层的gRPC API，上层系统可以通过这些API管理机器上的容器。

（4）每个containerd只负责一台机器，Pull镜像，对容器的操作（启动、停止等），网络，存储都是由containerd完成。
具体运行容器由runc负责，实际上只要是符合OCI规范的容器都可以支持。

（5）对于容器编排服务来说，运行时只需要使用containerd+runc，更加轻量，容易管理。

（6）独立之后containerd的特性演进可以和Docker Engine分开，专注容器运行时管理，可以更稳定。

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.

2013年docker公司在推出docker产品后，由于其对全球技术产生了一定的影响力，Google公司明显感觉到自己公司内部所使用的
Brog系统江湖地位受到的威胁，希望Docker公司能够与自己联合打造一款开源的容器运行时作为Docker核心依赖，但Docker公司
拒绝了；

接着Google公司联合RedHat、IBM等公司说服Docker公司把其容器核心技术libcontainer捐给中立社区（OCI，Open Container 
Intiative），并更名为runC。

为了进一步遏制Docker在未来技术市场影响力，避免在容器市场上Docker一家独大，Google公司带领导RedHat、IBM等成立了CNCF
（Cloud Native Computing Fundation）基金会，即云原生计算基金会。CNCF的目标很明确，既然在容器应用领域无法与Docker相抗衡，
那就做Google更有经验的技术市场------大规模容器编排应用场景，Google公司把自己内部使用的Brog系统开源------Kubernetes，
也就是我们今天所说的云原生技术生态。

2016年Docker公司推出了Docker Swarm，意在一统Docker生态，让Docker既可以实现容器应用管理，也可以实现大规模容器编排，
经过近1年左右时间的市场验证后，发现在容器编排方面无法独立抗衡kubernetes，所以Docker公司于2017年正式宣布原生支持
Kubernetes，至此，Docker在大规模容器编排应用市场败下阵来，但是Docker依然不甘心失败，把Docker核心依赖Containerd
捐给了CNCF，依此说明Docker依旧是一个Paas平台。

2020年CNCF基金会宣布Kubernetes 1.20版本将不再仅支持Docker容器管理工具，此事的起因主要也与Docker捐给CNCF基金会的
Containerd有关，早期为了实现Kubernetes能够使用Docker实现容器管理，专门在Kubernetes组件中集成一个shim（垫片）技术，
用来将Kubernetes容器运行时接口（CRI，Container Runntime Interface）调用翻译成Docker的API，这样就可以很好地使用Docker了，
但是随着Kubernetes在全球技术市场的广泛应用，有更多的容器管理工具的出现，它们都想能够借助于Kubernetes被用户所使用，
所以就提出标准化容器运行时接口，只要适配了这个接口就可以集成到Kubernetes生态当中，所以Kubernetes取消了对shim的维护，
并且由于Containerd技术的成功，可以实现无缝对接Kubernetes，所以接下来Kubernetes容器运行时的主角是Containerd。

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.

Containerd被分为三个大块：Storage、Metadata和Runtime。

• 1.

Containerd设计的目的是为了嵌入到Kubernetes中使用，它是一个工业级的容器运行时，不提供给开发人员和终端用户直接使用，
这样就避免了与Docker产生竞争，但事实上，Containerd已经实现大多数容器管理功能，例如：容器生命周期管理、容器镜像传输
和管理、容器存储与网络管理等。Containerd设计的目的是为了嵌入到Kubernetes中使用，它是一个工业级的容器运行时，不提供给开发人员和终端用户直接使用，
这样就避免了与Docker产生竞争，但事实上，Containerd已经实现大多数容器管理功能，例如：容器生命周期管理、容器镜像传输
和管理、容器存储与网络管理等。

• 1.
• 2.
• 3.
• 4.
• 5.

Containerd采用标准的c/s架构
-服务端通过GRPC协议提供稳定的API
-客户端通过调用服务端的API进行高级的操作

-为了实现解耦，Containerd 将不同的职责划分给不同的组件，
每个组件就相当于一个子系统（subsystem），连接不同子系统的组件被称为模块。

例如，上图中的每一个长虚线的方框都表示一种类型的插件，包括Service Plugin、Metadata Plugin、
GC Plugin、Runtime Plugin 等，其中Service Plugin又会依赖Metadata Plugin GC Plugin和Runtime Plugin。
每一个小方框都表示一个细分的插件，例如Metadata Plugin 依赖Containers Plugin、Content Plugin 等。


Containerd 两大子系统为：

-Bundle：在Containerd中，Bundle包含了配置、元数据和根文件系统数据，

你可以理解为容器的文件系统。而Bundle子系统允许用户从镜像中提取和打包Bundles。



-Runtime：Runtime子系统用来执行Bundles，比如创建容器。其中，每一个子系统的

行为都由一个或多个模块协作完成（架构图中的Core部分）。每一种类型的模块都以插件

的形式集成到Containerd中，而且插件之间是相互依赖的。
-----------------------------------
©著作权归作者所有：来自51CTO博客作者小李飞刀xx23的原创作品，请联系作者获取转载授权，否则将追究法律责任
第二十九节   containerd的介绍与安装
https://blog.51cto.com/u_14016919/11880669

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.
• 24.
• 25.
• 26.
• 27.
• 28.
• 29.
• 30.
• 31.
• 32.

常用插件
Content Plugin：提供对镜像中可寻址内容的访问，所有不可变的内容都被存储在这里。



Snapshot Plugin：用来管理容器镜像的文件系统快照。

镜像中的每一个layer都会被解压成文件系统快照，类似于Docker中的"graphdriver"。



Metrics：暴露各个组件的监控指标。

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.

# 更换源
wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum list | grep containerd
yum -y install containerd.io

• 1.
• 2.
• 3.
• 4.
• 5.

#验证是否安装
rpm -qa | grep containerd
开机启动
systemctl enable containerd
systemctl start containerd
# 查看运行状态
systemctl is-active containerd

# 查看ctr版本
ctr version

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.

二进制下载，首先获取官网的二进制包
wget https://github.com/containerd/containerd/releases/download/v1.7.21/cri-containerd-cni-1.7.21-linux-amd64.tar.gz

• 1.
• 2.

我们可以看到这个二进制包装是有cni的，也就是包含了K8s使用时候需求的组件，但是如果没有包含cni 
可以直接用于单机测试即可

• 1.
• 2.

mkdir containerd
mv cri-containerd-cni-1.7.21-linux-amd64.tar.gz containerd/
tar -zxvf cri-containerd-cni-1.7.21-linux-amd64.tar.gz
cp -p  /root/containerd/usr/local/bin/*   /usr/local/bin/
cp -p  /root/containerd/etc/systemd/system/containerd.service  /usr/lib/systemd/system/
chmod +x  /usr/lib/systemd/system/containerd.service

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

生成配置文件
创建配置文件目录
mkdir /etc/containerd
生成配置文件
containerd config default > /etc/containerd/config.toml

## containerd config default > /etc/containerd/config.toml命令创建一份模块配置文件
查看配置文件
cat /etc/containerd/config.toml

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.

备份默认配置文件
cp /etc/containerd/config.toml /etc/containerd/config.toml.bak
修改配置文件
vim /etc/containerd/config.toml
--------------
root = "/var/lib/containerd"
state = "/run/containerd"
oom_score = -999

[grpc]
  address = "/run/containerd/containerd.sock"
  uid = 0
  gid = 0
  max_recv_message_size = 16777216
  max_send_message_size = 16777216

[debug]
  address = ""
  uid = 0
  gid = 0
  level = ""

[metrics]
  address = ""
  grpc_histogram = false

[cgroup]
  path = ""

[plugins]
  [plugins.cgroups]
    no_prometheus = false
  [plugins.cri]
    stream_server_address = "127.0.0.1"
    stream_server_port = "0"
    enable_selinux = false
    sandbox_image = "easzlab/pause-amd64:3.2" #配置了沙箱镜像
    stats_collect_period = 10
    systemd_cgroup = false
    enable_tls_streaming = false
    max_container_log_line_size = 16384
    [plugins.cri.containerd]
      snapshotter = "overlayfs"
      no_pivot = false
      [plugins.cri.containerd.default_runtime]
        runtime_type = "io.containerd.runtime.v1.linux"
        runtime_engine = ""
        runtime_root = ""
      [plugins.cri.containerd.untrusted_workload_runtime]
        runtime_type = ""
        runtime_engine = ""
        runtime_root = ""
    [plugins.cri.cni]
      bin_dir = "/opt/kube/bin"
      conf_dir = "/etc/cni/net.d"
      conf_template = "/etc/cni/net.d/10-default.conf"
    [plugins.cri.registry]
      [plugins.cri.registry.mirrors]
        [plugins.cri.registry.mirrors."docker.io"]     #endpoint表示配置镜像地址
          endpoint = [
            "https://docker.mirrors.ustc.edu.cn",
            "http://hub-mirror.c.163.com"
          ]
        [plugins.cri.registry.mirrors."gcr.io"]
          endpoint = [
            "https://gcr.mirrors.ustc.edu.cn"
          ]
        [plugins.cri.registry.mirrors."k8s.gcr.io"]
          endpoint = [
            "https://gcr.mirrors.ustc.edu.cn/google-containers/"
          ]
        [plugins.cri.registry.mirrors."quay.io"]
          endpoint = [
            "https://quay.mirrors.ustc.edu.cn"
          ]
    [plugins.cri.x509_key_pair_streaming]
      tls_cert_file = ""
      tls_key_file = ""
  [plugins.diff-service]
    default = ["walking"]
  [plugins.linux]
    shim = "containerd-shim"
    runtime = "runc"
    runtime_root = ""
    no_shim = false
    shim_debug = false
  [plugins.opt]
    path = "/opt/containerd"
  [plugins.restart]
    interval = "10s"
  [plugins.scheduler]
    pause_threshold = 0.02
    deletion_threshold = 0
    mutation_threshold = 100
    schedule_delay = "0s"
    startup_delay = "100ms"
--------------

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.
• 24.
• 25.
• 26.
• 27.
• 28.
• 29.
• 30.
• 31.
• 32.
• 33.
• 34.
• 35.
• 36.
• 37.
• 38.
• 39.
• 40.
• 41.
• 42.
• 43.
• 44.
• 45.
• 46.
• 47.
• 48.
• 49.
• 50.
• 51.
• 52.
• 53.
• 54.
• 55.
• 56.
• 57.
• 58.
• 59.
• 60.
• 61.
• 62.
• 63.
• 64.
• 65.
• 66.
• 67.
• 68.
• 69.
• 70.
• 71.
• 72.
• 73.
• 74.
• 75.
• 76.
• 77.
• 78.
• 79.
• 80.
• 81.
• 82.
• 83.
• 84.
• 85.
• 86.
• 87.
• 88.
• 89.
• 90.
• 91.
• 92.
• 93.
• 94.
• 95.
• 96.
• 97.

systemctl enable containerd   #开机启动

systemctl start containerd      #启动

systemctl is-active containerd    #查看状态

• 1.
• 2.
• 3.
• 4.
• 5.

centos7 上会出现这个报错，而rocky8不会出现这类的报错信息

由于二进制包中提供的runC默认需要系统中安装seccomp支持
需要单独安装
且不同版本runC对seccomp版本要求一致，所以建议单独下载runC 二进制包进行安装
里面包含了seccomp模块支持

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.

runc 报错：
runc：symbol lookup error：runc：undefined symbol：seccomp_notify_respond
k8s用centos7搭建集群底层走containerd可能会出现这个报错
方法一：
wget https://github.com/opencontainers/runc/releases/download/v1.1.13/libseccomp-2.5.5.tar.gz
yum install -y gcc gcc-c++ gperf 
tar -zxvf libseccomp-2.5.5.tar.gz 
cd libseccomp-2.5.5
./configure 
make 
make install 
wget https://github.com/opencontainers/runc/releases/download/v1.1.13/runc.amd64
mv runc.amd64 runc 
mv runc /usr/local/sbin/
chmod +x /usr/local/sbin/runc 
runc --version



方法2
创建默认配置文件
mkdir -p /etc/containerd
containerd config default | tee /etc/containerd/config.toml
修改Containerd的配置文件
sed -i "s#SystemdCgroup\ \=\ false#SystemdCgroup\ \=\ true#g" /etc/containerd/config.toml
cat /etc/containerd/config.toml | grep SystemdCgroup


old_image='sandbox_image = "registry.k8s.io/pause:.*"'
new_image='sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"'
sed -i "s|$old_image|$new_image|" /etc/containerd/config.toml

sed -i "s#config_path\ \=\ \"\"#config_path\ \=\ \"/etc/containerd/certs.d\"#g" /etc/containerd/config.toml
cat /etc/containerd/config.toml | grep certs.d


mkdir /etc/containerd/certs.d/docker.io -pv 
cat > /etc/containerd/certs.d/docker.io/hosts.toml << EOF
server = "https://docker.io"
[host."https://docker.m.daocloud.io"]
  capabilities = ["pull", "resolve"]
EOF

# systemctl enable containerd
# systemctl start containerd
# ctr images ls

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.
• 16.
• 17.
• 18.
• 19.
• 20.
• 21.
• 22.
• 23.
• 24.
• 25.
• 26.
• 27.
• 28.
• 29.
• 30.
• 31.
• 32.
• 33.
• 34.
• 35.
• 36.
• 37.
• 38.
• 39.
• 40.
• 41.
• 42.
• 43.
• 44.
• 45.
• 46.