AIOps指标异常检测之无监督算法

随着系统规模的变大、复杂度的提高、监控覆盖的完善，监控数据量越来越大，运维人员无法从海量监控数据中发现质量问题。智能化的异常检测就是要通过AI算法，自动、实时、准确地从监控数据中发现异常，为后续的诊断、自愈提供基础。

异常检测算法分类

大量应用场景对快速有效检测异常的需求以及异常检测场景相较于其他场景的特殊性，使得异常检测问题的研究具有极大的应用和研究价值,促使很多异常检测算法被提出和实践.智能化的异常检测算法主要分为三大类,基于统计的异常检测算法、无监督异常检测算法和有监督异常检测算法.下面对三种检测算法作简要介绍和对比分析。

一、基于统计的异常检测算法

基于统计的异常检测算法, 利用统计学思想, 通过对历史数据计算统计特征, 然后判断待检测的数据是否符合历史数据的统计特征, 如果是则认为是正常, 如果不是则认为是异常。

常用的基于统计的异常检测算法有3-sigma, 四分位数, 同比, 环比等等。

基于统计的异常检测算法的特点是简单易用, 可解释性强, 但无法处理复杂的场景。

二、无监督异常检测算法

无监督异常检测算法，通过对数据进行计算分析, 识别出那些相对孤立的点, 把这些孤立点就看作为异常点。由于无监督异常检测算法的应用场景往往只需要得到异常的排名，认为最为异常的一部分数据是异常数据，所以其输出结果大多是样本点对应的异常分数，异常分数对应到样本点的异常程度。在所有无监督异常检测方法中，基于样本点之间的距离或者样本点所在的密度来判别样本是否为异常，是无监督异常检测常用的经典方法。

常用的无监督异常检测算法有孤立森林, LOF, One-Class-SVM等等。

无监督异常检测算法的特点是无需打标数据, 在特征选取合理情况下准确性高, 能处理大规模复杂场景等, 但也存在特征选取难, 可解释性差等问题。