自动化实现运维告警后磁盘空间预处理-CSDN博客

在这里插入图片描述

关键词：自动化实现运维告警后磁盘空间预处理、运维自动化、磁盘空间管理、告警处理

📋 目录

🚨 磁盘告警：运维人的"半夜惊魂"
🎯 自动化预处理：让机器替你"背锅"
🏗️ 系统架构设计：搭建你的"磁盘清道夫"
⚙️ 核心实现方案：从告警到清理的全流程
📊 监控与优化：让系统越来越"聪明"
🎉 总结：告别深夜爬起来删文件

🚨 磁盘告警：运维人的"半夜惊魂"

相信每个运维同学都有过这样的经历：凌晨3点被告警短信吵醒，睡眼惺忪地爬起来处理磁盘空间不足的问题。删日志、清缓存、移数据…这套"三板斧"虽然屡试不爽，但每次都要人工介入，实在是太折腾了。

常见的磁盘空间问题

每种问题都有其特定的处理方式，而人工处理不仅效率低下，还容易在紧急情况下出错。这时候，自动化预处理就显得尤为重要了。

🎯 自动化预处理：让机器替你"背锅"

自动化磁盘空间预处理的核心思想很简单：在问题变严重之前，让系统自己"收拾房间"。

设计原则

安全第一：只清理可以安全删除的文件
分级处理：根据磁盘使用率采用不同的清理策略
可追溯：记录所有清理操作，便于问题排查
可回滚：重要文件备份后再删除

🏗️ 系统架构设计：搭建你的"磁盘清道夫"

整体架构图

核心组件说明

监控层：负责实时监控磁盘使用情况，当达到预设阈值时触发告警。

处理层：接收告警信息，根据预设规则分配清理任务。

执行层：具体的清理模块，各司其职，互不干扰。

存储层：记录操作历史，存储配置信息和备份文件。

⚙️ 核心实现方案：从告警到清理的全流程

1. 告警触发流程

2. 分级清理策略

根据磁盘使用率采用不同的清理力度：

使用率范围	清理策略	清理内容
80%-85%	温和清理	7天前的日志文件、临时缓存
85%-90%	中等清理	3天前的日志文件、所有临时文件
90%-95%	激进清理	1天前的日志文件、非关键缓存
>95%	紧急清理	所有可安全删除的文件

3. 关键代码实现

Webhook接收器示例

from flask import Flask, request, jsonify
import json
import logging

app = Flask(__name__)

@app.route('/webhook', methods=['POST'])
def handle_alert():
    try:
        alert_data = request.json
        
        # 解析告警信息
        alerts = alert_data.get('alerts', [])
        for alert in alerts:
            if alert.get('status') == 'firing':
                labels = alert.get('labels', {})
                
                # 提取关键信息
                instance = labels.get('instance')
                disk_usage = float(labels.get('disk_usage', 0))
                mount_point = labels.get('mountpoint')
                
                # 触发清理任务
                trigger_cleanup_task(instance, disk_usage, mount_point)
        
        return jsonify({'status': 'success'})
    
    except Exception as e:
        logging.error(f"处理告警失败: {e}")
        return jsonify({'status': 'error', 'message': str(e)})

def trigger_cleanup_task(instance, disk_usage, mount_point):
    """触发清理任务"""
    # 根据磁盘使用率选择清理策略
    if disk_usage >= 95:
        strategy = 'emergency'
    elif disk_usage >= 90:
        strategy = 'aggressive'
    elif disk_usage >= 85:
        strategy = 'moderate'
    else:
        strategy = 'gentle'
    
    # 发送到任务队列
    task_queue.send_task('cleanup_disk', 
                        args=[instance, mount_point, strategy])

清理执行器示例

import os
import time
from datetime import datetime, timedelta

class DiskCleaner:
    def __init__(self, strategy='gentle'):
        self.strategy = strategy
        self.cleanup_rules = self._load_cleanup_rules()
    
    def execute_cleanup(self, mount_point):
        """执行磁盘清理"""
        cleaned_size = 0
        operations = []
        
        try:
            # 1. 清理日志文件
            size, ops = self._cleanup_logs(mount_point)
            cleaned_size += size
            operations.extend(ops)
            
            # 2. 清理临时文件
            size, ops = self._cleanup_temp_files(mount_point)
            cleaned_size += size
            operations.extend(ops)
            
            # 3. 清理缓存文件
            size, ops = self._cleanup_cache(mount_point)
            cleaned_size += size
            operations.extend(ops)
            
            # 记录清理操作
            self._log_operations(operations, cleaned_size)
            
            return {
                'success': True,
                'cleaned_size': cleaned_size,
                'operations': len(operations)
            }
            
        except Exception as e:
            logging.error(f"清理失败: {e}")
            return {'success': False, 'error': str(e)}
    
    def _cleanup_logs(self, mount_point):
        """清理日志文件"""
        cleaned_size = 0
        operations = []
        
        # 根据策略确定保留天数
        retain_days = self.cleanup_rules[self.strategy]['log_retain_days']
        cutoff_time = time.time() - (retain_days * 24 * 3600)
        
        log_dirs = ['/var/log', '/opt/app/logs']
        
        for log_dir in log_dirs:
            if not os.path.exists(log_dir):
                continue
                
            for root, dirs, files in os.walk(log_dir):
                for file in files:
                    file_path = os.path.join(root, file)
                    
                    # 检查文件修改时间
                    if os.path.getmtime(file_path) < cutoff_time:
                        file_size = os.path.getsize(file_path)
                        
                        # 备份重要日志
                        if self._is_important_log(file_path):
                            self._backup_file(file_path)
                        
                        os.remove(file_path)
                        cleaned_size += file_size
                        operations.append({
                            'type': 'delete',
                            'file': file_path,
                            'size': file_size
                        })
        
        return cleaned_size, operations