[发明专利]一种基于状态融合的时序异常检测方法

说明书

本发明为克服时序的特征会存在时间扭曲导致集群的异常检测存在误差的缺陷，提出一种基于状态融合的时序异常检测方法，包括以下步骤：收集待检测时序数据并对其进行预处理，得到时序数据X_T及其对应的标签Y_T；将经过预处理的时序数据X_T输入语义分析网络MarkNet中，生成标记序列S_T；将所述标记序列S_T输入MeM模块中进行状态融合分析，生成标记序列S_U；将所述标记序列S_U输入异常监测网络DetectNet中进行异常检测，得到置信度P(X)，将所述置信度P(X)与预设的对比阈值ε进行比较，当置信度P(X)大于预设的对比阈值ε时，则输出检测结果为异常，否则输出检测结果为正常。

技术领域

本发明涉及集群资源管理技术领域，更具体地，涉及一种基于状态融合的时序异常检测方法。

背景技术

目前对于集群的异常检测通常从集群单元的资源使用情况进行。集群的资源使用情况以时序的形式记录下来，输出到分析模块用于实时监控，或者存储于大规模数据库中作为之后的任务复盘分析。由于时序数据存在时间关联性，单纯地基于概率分布去估计会导致模型无法捕捉时序特征，大大降低检测精度，所以多数工作都加入了深度学习模型。例如，通过卷积神经网络对时序进行片段特征提取，通过循环神经网络对时序的时间特征进行记录，通过全连接网络进行深度特征归纳分解，并且应用最大池化、激活函数等技术让神经网络具有非线性特征，最终网络输出一个综合判断分数。然而，当前的时序学习方法普遍都是逐时刻训练、测试的，即每一个时刻，网络都输出一个值，从而进行判断。但是由于数据中心检测的时序密集，监测对象由于性能波动、任务切换、数据中心资源波动等情况，时序的特征会存在时间扭曲(temporal distortion)。举例来说，由于数据中心的资源瓶颈，一个记录用户访问量的时序中存在的峰值特征可能被拉长，而这些特征是逐帧训练的深度学习模型无法很好掌握的。

针对时序特征的时间扭曲的问题，目前主要采用下述两种技术：动态时间扭曲(Dynamic Time Warping，DTW)时序相似性衡量技术，利用动态规划，寻找两条时序之间的最接近距离，可以在特定情况解决时序变形，从而应对时间扭曲带来的误判。但是DTW是利用预先的假设寻求计算两个时序间的最短距离，没有针对时序不对齐的现象给出合理解释。连接主义时间分类技术(Connectionist Temporal Classification，CTC)是一种序列转化方法，对于神经网络的预测输出，把相邻的输出值合并为一个，从而得到一个更加简化的时序表示。通过这种时序表示来判别时序的潜在特征，可以传到后续的数据流。但是CTC的转化方法是把一个序列内所有的相同特征态都合并，当存在比较长时间的序列时，可能会导致过于简化的表示，带来误差。

发明内容

本发明为克服上述现有技术所述的时序的特征会存在时间扭曲导致集群的异常检测存在误差的缺陷，提供一种基于状态融合的时序异常检测方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于状态融合的时序异常检测方法，包括以下步骤：

S1：收集待检测时序数据并对其进行预处理，得到时序数据X_T及其对应的标签Y_T；

S2：将经过预处理的时序数据X_T输入语义分析网络MarkNet中，生成标记序列S_T；

S3：将所述标记序列S_T输入MeM模块中进行状态融合分析，生成标记序列S_U；

S4：将所述标记序列S_U输入异常监测网络DetectNet中进行异常检测，得到置信度P(X)，将所述置信度P(X)与预设的对比阈值ε进行比较，当置信度P(X)大于预设的对比阈值ε时，则输出检测结果为异常，否则输出检测结果为正常。