[发明专利]一种基于云网端资源中不完整时间序列的异常检测方法

说明书

本发明涉及一种基于云网端资源中不完整时间序列的异常检测方法，包括：输入带有缺失的云网端资源中的时间序列，生成时间序列样本，并对所述时间序列样本进行预处理操作；构建深度学习网络模型，将经过预处理操作的时间序列样本分为训练样本集和测试样本集，所述训练样本集输入所述深度学习网络模型中完成模型训练，所述测试样本集进行模型异常检测测试，得到异常检测结果。本发明提出的方法中云网端资源中不完整时间序列的异常检测模型将缺失值插补过程与异常检测过程相结合，减少了从缺失值插补到异常检测导致的误差传递。相较于现有技术，发明成果在云网端资源中不完整时间序列场景下进行异常检测拥有更高的准确率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于云网端资源中不完整时间序列的异常检测方法。

背景技术

时间序列数据是按时间顺序排列的一系列数据点，在许多实际应用中发挥着重要作用。异常主要指在其特征方面不同于标准值，且与正常实例相比，异常在数据集之中是罕见的数据实例。

目前针对云网端资源中不完整时间序列的异常检测方法主要包括两个阶段，第一阶段：对不完整时间序列进行缺失值插补，将不完整时间序列进行补全；第二阶段：将第一阶段补足后的时间序列作为输入，使用基于重构或基于预测的异常检测方法进行时间序列的异常检测。

缺失值插补方法可以归类为基于判别模型的插补方法和基于生成模型的插补方法。基于判别模型的插补方法是指由数据直接学习决策函数或者条件概率分布，并以此预测缺失值的方法。常见的用于插补缺失值的判别模型算法有支持向量机(SVM),神经网络(Neural Networks),线性判别分析(Linear Discriminative Analysis)，条件随机场(Conditional Random Field)等。基于生成模型的插补方法是指通过对观测值和标注数据计算联合概率分布P(x,y)，以此达到对缺失值进行预测的方法。插补算法中用到的常见生成模型有朴素贝叶斯(Naive Bayes),隐马尔科夫模型(HMM),贝叶斯网络(BayesianNetworks)和隐含狄利克雷分布(Latent Dirichlet Allocation)。

根据输入数据标签的可用性，异常检测方法可分为三类：(1)有监督的异常检测，(2)半监督的异常检测，(3)无监督的异常检测。有监督的异常检测方法依赖于标记的训练数据来建立预测模型。有监督的异常检测可以看作是一个二分类问题，通常使用不平衡的训练数据：数据中正常点的实例比异常点的实例多得多。半监督的异常检测检测方法一般使用只有正常标签的训练数据，也有使用大多数未标记数据和少量标记数据建立模型。无监督的异常检测方法使用未标记的数据来用于构建异常检测模型(例如，隔离森林)或在不构建模型的情况下直接计算输入数据的异常值(例如，LOF)。

云网端的高速发展导致在线数据规模剧增，为确保在线服务的稳定性和可用性，公司通常需要实时监控大量的时间序列指标(例如页面浏览量、交易量、成功率、系统延迟)，大规模的时序数据快速生成导致异常难以标注，同时由于系统故障或者存储丢失，这类时序数据中往往存在部分缺失值。但目前针对云网端资源中不完整时间序列的异常检测方法中缺失值填补和异常检测彼此独立，异常检测的准确性依赖于缺失值的填补效果，导致异常检测准确性难以保证。

发明内容

针对以上问题，本发明提出一种基于云网端资源中不完整时间序列的异常检测方法。相比于传统先插补后检测的二阶段异常检测方法，本发明避免了缺失值插补过程到异常值检测的误差传播，有利于提升云网端资源中不完整时间序列的异常检测准确度。

为实现上述目的，本发明提供了如下方案：

一种基于云网端资源中不完整时间序列的异常检测方法，包括：

使用滑窗采样方法将带有缺失的云网端时间序列原始数据进行切片，得到时间序列样本，对所述时间序列样本进行预处理操作；