InfluxDB 自主采集容器时序数据

通过 InfluxDB 自主采集容器时序数据的技术实现方案，包含容器监控指标采集、存储配置、优化策略等全流程方案：

---

一、技术架构

graph TD
    A[容器运行时] -->|暴露指标| B(Telegraf采集器)
    B -->|写入| C[InfluxDB]
    C -->|分析| D(Grafana仪表盘)
    C -->|告警| E(Alertmanager)
    
    subgraph 容器平台
    F[Docker]
    G[Kubernetes]
    end
    
    F & G --> A
    Telegraf -.-> |配置文件| B
    InfluxDB -.-> |配置Bucket| C

---

二、部署与采集方案

1. InfluxDB 部署（容器化）

docker run -d -p 8086:8086 \
  --name influxdb \
  -v influxdb_data:/var/lib/influxdb2 \
  -e DOCKER_INFLUXDB_INIT_USERNAME=admin \
  -e DOCKER_INFLUXDB_INIT_PASSWORD=StrongPassword123! \
  -e DOCKER_INFLUXDB_INIT_ORG=myorg \
  -e DOCKER_INFLUXDB_INIT_BUCKET=telegraf \
  influxdb:2.7

2. 指标采集器配置（Telegraf）

​​/etc/telegraf/telegraf.conf​​

[agent]
  interval = "10s"  # 采集间隔

[[inputs.docker]]
  endpoint = "unix:///var/run/docker.sock"
  perdevice = true  # 每个容器单独采集
  total = false     # 不采集合计值

  # 采集的关键指标
  fieldpass = [
    "usage_percent",  # CPU使用率
    "mem_usage",      # 内存使用量
    "mem_limit",      # 内存限制
    "mem_usage_percent", # 内存使用率
    "net_bytes_recv", # 网络接收字节
    "net_bytes_sent", # 网络发送字节
    "io_read",        # 磁盘读操作
    "io_write"        # 磁盘写操作
  ]

[[outputs.influxdb_v2]]
  urls = ["http://influxdb:8086"]
  token = "INFLUX_TOKEN"  # 管理员Token
  organization = "myorg"
  bucket = "telegraf"

3. 启动Telegraf容器

docker run -d \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v ./telegraf.conf:/etc/telegraf/telegraf.conf \
  -e INFLUX_TOKEN=your_token_here \
  --name telegraf \
  telegraf:1.28

---

 三、核心监控指标体系

​​指标类别​​	​​关键指标​​	​​描述​​	​​数据类型​​
CPU	docker_cpu_usage_percent	容器CPU使用率	float
Memory	docker_mem_usage_bytes	内存使用量（字节）	float
	docker_mem_usage_percent	内存使用率	float
	docker_mem_limit_bytes	内存限制（字节）	float
Network	docker_net_bytes_recv	网络接收字节数	float
	docker_net_bytes_sent	网络发送字节数	float
Disk I/O	docker_io_read_bytes	磁盘读字节数	float
	docker_io_write_bytes	磁盘写字节数	float
Container	docker_state	容器状态（0=停止, 1=运行）	int

---

四、InfluxDB 数据模型设计

1. 数据组织结构

Bucket: telegraf
├── Measurement: docker
│   ├── Tags:
│   │   ├── container_id
│   │   ├── container_name
│   │   ├── container_image
│   │   └── host
│   └── Fields:
│       ├── cpu_usage_percent
│       ├── mem_usage_bytes
│       └── ...
└── ...

2. 数据保留策略

# 创建保留策略（7天热数据 + 30天冷数据）
influx bucket create \
  --name docker_metrics \
  --retention 7d \
  --org myorg

# 归档策略（可选）
influx bucket create \
  --name docker_archives \
  --retention 365d \
  --org myorg

---

五、查询优化策略

1. Flux 查询模板

from(bucket: "telegraf")
  |> range(start: -1h)
  |> filter(fn: (r) => r["_measurement"] == "docker")
  |> filter(fn: (r) => r["_field"] == "cpu_usage_percent")
  |> filter(fn: (r) => r["container_name"] == "nginx")
  |> aggregateWindow(every: 1m, fn: mean, createEmpty: false)

2. 查询性能优化

• ​​过滤顺序优化​​：

  // 错误顺序：先字段过滤
  |> filter(fn: (r) => r["_field"] == "cpu_usage_percent")
  |> filter(fn: (r) => r["container_name"] == "nginx")
  
  // 正确顺序：先标签过滤
  |> filter(fn: (r) => r["container_name"] == "nginx")
  |> filter(fn: (r) => r["_field"] == "cpu_usage_percent")

• ​​使用 downsampling​​：

  CREATE CONTINUOUS QUERY "cq_1m_avg" ON "telegraf"
  BEGIN
    SELECT mean(*) INTO "downsampled_metrics"
    FROM "docker" GROUP BY time(1m), *
  END

---

六、告警配置

1. 创建告警规则（内存超过90%）

import "influxdata/influxdb/monitor"
import "influxdata/influxdb/schema"

option task = {
  name: "容器内存告警",
  every: 1m,
}

critical = (r) => r._value > 90

data = from(bucket: "telegraf")
  |> range(start: -task.every)
  |> filter(fn: (r) => r._measurement == "docker")
  |> filter(fn: (r) => r._field == "mem_usage_percent")
  |> schema.fieldsAsCols()

monitor.check(
  data: data,
  messageFn: (r) => "容器 ${r.container_name} 内存使用率超过阈值: ${r._value}%",
  crit: critical
)

2. 告警通知渠道（Slack示例）

apiVersion: monitoring.coreos.com/v1
kind: AlertmanagerConfig
metadata:
  name: alertmanager-config
spec:
  receivers:
    - name: 'slack-notifications'
      slackConfigs:
        - apiUrl: https://hooks.slack.com/services/XXXXX
          channel: '#alerts'

---

七、性能调优建议

1. ​​容器指标优化​​：

   # Telegraf.conf 优化
   [inputs.docker]
     container_name_include = ["important.*"] # 只采集重要容器
     timeout = "3s"          # 缩短超时
     interval = "30s"        # 延长采集间隔

2. ​​InfluxDB 性能优化​​：

   # 启用TSI索引
   [influxdb]
   index-version = "tsi1"
   
   # 优化WAL配置
   [data]
     wal-fsync-delay = "1ms"
     cache-max-memory-size = 2048mb

3. ​​分区策略优化​​：

   ALTER RETENTION POLICY "rp_7days" 
     SHARD DURATION 1h  # 对高频数据缩小分片时长

---

八、数据备份方案

1. 本地备份

influx backup /backups/$(date +%Y%m%d) \
  --host http://localhost:8086 \
  --token YOUR_API_TOKEN

2. S3远程备份

influx remote create \
  --name s3-backup \
  --org myorg \
  --url s3://my-bucket/backups \
  --access-key AKIAXXXXX \
  --secret-key XXXXXX

3. 恢复流程

influx restore --full /backups/20240520

---

九、关键问题诊断

1. ​​数据未写入​​：

   • 检查Telegaf日志：docker logs telegraf
   • 验证网络连通：curl -v http://influxdb:8086/ping

2. ​​查询超时​​：

   • 优化查询：添加时间范围限制
   • 增加内存：--env INFLUXDB_DATA_CACHE_MAX_MEMORY_SIZE=2G

3. ​​磁盘空间不足​​：

   -- 查看分片占用
   SHOW SHARDS
   
   -- 清理过期数据
   DROP SERIES FROM "docker" WHERE time < now() - 90d

---

完整实施参考：

• Telegraf Docker插件文档
• InfluxDB最佳实践
• Flux语言指南