[发明专利]一种基于条件式规整化流模型的时间序列无监督异常检测方法

说明书

本发明公开了一种基于条件式规整化流模型的时间序列无监督异常检测方法，包括：(1)对时间序列进行预处理，构建训练数据集；(2)构建循环神经网络，用于将历史时间序列处理为隐表示；(3)构建以历史观测序列为条件、建模观测窗口概率密度的条件式规整化流模型，用于计算观测窗口内时间序列的条件对数似然度；(4)基于最大似然原则学习优化模型参数；(5)根据所有样本在参数确定的条件式规整化流模型下的条件对数似然度选取阈值；(6)使用参数确定的循环神经网络和条件式规整化流模型在线计算观测窗口内时间序列的条件对数似然度，当该条件对数似然度低于指定阈值时，将观测窗口报告为异常。该检测方法可有效降低异常检测的误报率。

技术领域

本发明涉及时间序列异常检测领域，具体涉及一种基于条件式规整化流模型的时间序列无监督异常检测方法。

背景技术

时间序列数据广泛存在于商业、金融、智慧城市、医疗、环境科学等领域，时间序列异常检测是指根据时间序列观测判断其背后系统是否处于异常状态的技术，其在风险管控、计算机运维、网络安全、疾病检测、工业控制等应用中能发挥重要作用。

一种对时间序列进行无监督异常检测的简单方法是忽视或弱化其时间序列性质，将其视为无序数据点的集合，使用通用的无监督异常检测算法判断数据点是否异常。例如，可简单地将每个时刻的观测作为一个标量型数据点，如果给定时刻的观测与所有观测均值间的偏差超过标准差的指定倍数，则将其判定为异常；为提升方法的健壮性，也可将每个时间窗口内的观测作为一个向量型数据点，然后使用经典的离群点检测算法(如IsolationForest、LOF和基于聚类或k近邻的算法)检测给定的时间窗口是否为离群点。这类方法的问题是其在异常判定时忽略了时刻或窗口外的上下文信息，容易造成漏报；此外，经典的离群点检测算法难以拓展至高维数据，意味着其无法应用于较长的时间窗口。

另一种对时间序列进行无监督异常检测的常见方法是基于时间序列预测的方法，既使用已观测到的数据拟合一个时间序列预测模型，对于特定时间点，如果观测值与预测值间的偏差超过特定阈值，或观测值在预测的置信区间之外，则将该时间点报告为异常。时间序列预测模型可使用经典的ARIMA模型和结构化时间序列(STS)模型，也可以使用更复杂的机器学习模型，如回归树和神经网络。此方法的优点在于判断每时间点是否为异常时会考虑其上下文，而非认为其与其它时间点无关。但其存在两个主要问题。首先，受外部噪声的干扰、内在不确定性的影响和预测模型能力的限制，当时间序列无法被有效预测时，基于单时间点预测误差的异常判别通常健壮性不足，误报率较高。其次，基于置信区间的异常判别尽管考虑了不确定性，但其仅提供了待检测时间点可能取值的置信上下界，而现实时间序列数据中待检测时间点可能取值的分布通常较为复杂，难以被上下界有效概括，易出现漏报。

发明内容

本发明要解决的技术问题是如何在时间序列异常检测中以考虑时间序列上下文的概率密度估计的方式判定一个观测窗口是否异常。

为解决上述问题，本发明提供的一种基于条件式规整化流模型的时间序列无监督异常检测方法，包括以下步骤：

(1)对给定的时间序列数据进行预处理，构建训练数据集；

(2)构建循环神经网络，用于将历史时间序列处理为隐表示；

(3)构建以历史观测序列为条件、建模观测窗口概率密度的条件式规整化流模型，用于计算观测窗口内时间序列的条件对数似然度；

(4)根据训练数据集，基于最大似然原则学习优化循环神经网络和条件式规整化流模型的参数；

(5)根据训练数据集中所有样本在参数确定的条件式规整化流模型下的条件对数似然度选取阈值；

(6)使用参数确定的循环神经网络和条件式规整化流模型在线计算评估观测窗口内时间序列的条件对数似然度，当该条件对数似然度低于指定阈值时，将观测窗口报告为异常。