使用 Vector 在 Kubernetes 中收集日志

最新推荐文章于 2025-06-02 09:00:14 发布

yule.yang

最新推荐文章于 2025-06-02 09:00:14 发布

阅读量3.1k

点赞数 15

CC 4.0 BY-SA版权

分类专栏：云原生文章标签： kubernetes 云原生

本文链接：https://blog.csdn.net/yugongpeng/article/details/135705039

多年来，我们一直在使用 Vector 在我们的 Kubernetes 平台中收集日志，并成功地将其应用于生产中以满足各种客户的需求，并且非常享受这种体验。因此，我想与更大的社区分享它，以便更多的 K8s 运营商可以看到潜力并考虑他们自己的设置的好处。

为此，我将首先简要回顾一下 Kubernetes 中可以收集哪些类型的信息。然后，我将探讨 Vector、它的架构以及我们为什么如此喜欢它。最后，我将分享我们对 Vector 的实际用例和实际经验。

Kubernetes 中的日志记录

让我们看一下 Kubernetes 中的日志。虽然 Kubernetes 的主要目标是在节点上运行容器，但必须记住，这些容器通常是根据 Heroku 的 12 个因素开发的。那么，他们如何在 Kubernetes 中生成日志，谁是其他生产者，日志驻留在何处？

1. 应用程序（pod）日志

在 K8s 中运行的应用程序将其日志写入 stdout 或 .然后，容器运行时收集这些日志并将其存储在一个目录中，该目录通常为 stderr/var/log/pods.它是可配置的，可以根据特定要求进行定制。

2. 节点服务日志

最重要的是，Kubernetes 节点上有一些服务在容器外部运行，例如 containerd 和 kubelet。

牢记这些服务并从 syslog 中收集相关消息（例如 SSH 身份验证消息）至关重要。

此外，在某些情况下，容器会将其日志写入特定的文件路径。例如，kube-apiserver，它通常会写入审计日志。因此，需要从相应的节点收集这些日志。

3. Events

Kubernetes 日志收集的另一个重要方面是事件。它们具有独特的结构，因为它们仅存在于 etcd 中，因此为了收集它们，您必须向 Kubernetes API 发出请求。

由于 reason 字段（请参阅下面的示例清单）和 count 字段（用作计数器，随着记录的事件越来越多而递增），因此可以将事件视为指标。

此外，还可以将事件收集为跟踪、特征和字段，这有助于创建全面的甘特图，以说明集群中的所有事件。firstTimestamp lastTimestamp

最后，事件提供人类可读的消息（字段），使它们能够作为日志收集。message

apiVersion: v1
kind: Event
count: 1
metadata:
  name: standard-worker-1.178264e1185b006f
  namespace: default
reason: RegisteredNode
firstTimestamp: '2023-09-06T19:08:47Z'
lastTimestamp: '2023-09-06T19:08:47Z'
involvedObject:
  apiVersion: v1
  kind: Node
  name: standard-worker-1
  uid: 50fb55c5-d97e-4851-85c6-187465154db6
message: 'Registered Node standard-worker-1 in Controller'

从本质上讲，Kubernetes 可以收集 Pod 日志、节点服务日志和事件。但是，在本文中，我们将重点关注 Pod 日志和节点服务日志，因为事件需要额外的软件来抓取它们，这涉及到 Kubernetes API，因此将其扩展到我们的范围之外。