【多元时序异常检测-2】

本文介绍两篇多元时序异常检测的论文，OmniAnomaly和RAEMD

模型：OmniAnomaly 论文：Robust Anomaly Detection for Multivariate Time Series through Stochastic Recurrent Neural Network
作者：Ya Su∗、Youjian Zhao、Chenhao Niu、Rong Liu、Wei Sun、Dan Pei
机构：清华 KDD 2019
代码：https://github.com/NetManAIOps/OmniAnomaly
引用量:208 (截止：2023/06/24)

读这篇论文之前，建议先了解VAE的相关知识，[1][2]中讲的很好。下面开始这篇论文的正式介绍。

应用场景：多元时序异常检测，并提供异常的可解释性。

论文亮点：

在这篇文章之前，对于多元时序异常检测基本上有两类模型：第一种是确定性模型，基于重构误差进行异常检测,如LSTM-based Encoder-Decoder网络，缺点在于没有引入随机变量。第二种是基于随机变量的模型，如DAGMM，缺点在于没有利用多元时序的时间依赖性。OmniAnomaly模型的贡献主要有以下几点：

1，第一次同时对多元时序的时间依赖性和随机性进行显式建模，从而增强模型的表达能力

2，对一个包含多元时间序列的实体异常检测提供可解释性：在一个实体中，异常分数最高的几个指标 最有可能是异常的。

3，OmniAnomaly模型在三个真实数据集上进行异常检测，F1-Score 相比SOTA模型提高0.09

以上两个贡献，主要通过下面四个关键技术实现

1，GRU网络组件来捕捉时间序列的时间依赖性信息。

2，stochastic Variable Connection 来捕捉随机性信息

3，VAE网络架构，并通过planar NF 方法克服传统VAE网络中P-net的输出Z_t 只服从高斯分布的限制。

4，提出POT（Peaks-Over-Threshold）方法，基于训练数据自适应生成异常分数的阈值。

模型架构：

 图1：整体架构

图2：OmniAnomaly网络结构

OmniAnomaly模型的网络架构是VAE网络，并在该框架的基础上，引入了GRU，stochastic Variable Connection，planar NF三个关键技术来提高基于VAE网络进行多元时序异常检测的效果。

模型训练时，与VAE网络类似，通过SGVB方法最大化ELBO来训练OmniAnomaly模型。损失函数定义为：

异常检测时，取重构概率作为异常分数。重构概率越小，异常分数越低，代表异常的可能性越小。

异常解释时，对于包含多元时序的实体，使用按照异常分数排名top的几个单变量时序来进行异常解释。

结论：

这篇文章是裴丹团队2019年的文章，是基于VAE进行多元时序异常检测方法中的一种。感觉2021年的InterFusion模型，是在此基础上又做了一些改进。

[1] 【学习笔记】生成模型——变分自编码器 https://www.gwylab.com/note-vae.html

[2] 变分自编码器VAE：原来是这么一回事 | 附开源代码 https://zhuanlan.zhihu.com/p/34998569

[3] Ya Su, Youjian Zhao, Chenhao Niu, Rong Liu, Wei Sun, and Dan Pei. 2019. Robust Anomaly Detection for Multivariate Time Series through Stochastic Recurrent Neural Network. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '19). Association for Computing Machinery, New York, NY, USA, 2828–2837. https://doi.org/10.1145/3292500.3330672

模型：RAMED（多分辨率集成编码的循环自编码器）
论文：Time series anomaly detection with multiresolution ensemble decoding
作者：Lifeng Shen 、 Zhongzhong Yu 、 Qianli Ma 、 James T. Kwok
机构：香港科技大学，中国南方科技大学，AAAI 2021
代码：暂无
引用量：27(截至：2023/6/28)

一、应用场景：

单/多元时间序列异常检测。不具备异常检测的解释性。

二、论文亮点：

目前时序异常检测技术可以分成两大类。

1，基于预测。传统如ARMA,ARIMA模型,近期如RNN框架下的各种模型。这些方法的效果取决于模型色外推能力

2，基于重构。这类方法会学习正常数据核心统计结构的压缩表示。据我了解，如：VAE框架下的各种异常检测模型，比如vae、OmniAnomaly（清华，2019），interfusion（清华，2021）；seq2seq框架的下的RAE(recurrent auto-encoder)模型及其变体。

RAE及其变体模型由于需要从历史时刻去逐步推测当前时刻，因此会存在误差累计的现象，因此这类模型在长序列中的效果并不好。本文提出的RAMED可以较好的克服误差累计现象。论文亮点如下：

• 模型有一组不同长度的解码器，用于在多种分辨率下捕获时间序列的时序信息。短的decoder学习低分辨率粗粒度的全局时域信息，如趋势性，季节性。长的decoder学习高分辨率细粒度的局部时域信息。

• 网络结构中，低分辨率decoder指导高分辨率decoder的解码过程。

• 引入多分辨率形状强迫损失，让不同分辨率的decoder与输入的整体时序相匹配。这样可以避免较高分辨率的decoder过拟合局部时域信息，同时缓解循环自编码器解码过程中的误差累积。