[发明专利]一种业务数据的时间序列可复用异常检测方法及系统

说明书

本发明提供了一种业务数据的时间序列可复用异常检测方法及系统，包括：步骤1：获取业务历史数据，根据数据平稳性、周期性、相关性和时间粒度对业务数据进行检测；步骤2：根据上述检测结果为所述业务数据匹配适合的时间序列算法，形成映射关系；步骤3：将所述时间序列和算法的映射关系及参数保存在样本库；步骤4：获取同一业务实时数据，根据步骤3样本库中的映射算法及最优参数对所述业务数据进行预测，根据预测结果确定预测区间；步骤5：比较实际值和同时段预测区间的关系，连续超出预测范围10次以上进行告警。本发明可以动态阈值实时监测，无需过多的人为参与，减少告警的误报漏报，有效节省人力成本。

技术领域

本发明涉及大数据异常检测方法领域，具体地，涉及一种业务数据的时间序列可复用异常检测方法及系统。

背景技术

传统监控运维中通常根据专家经验设定静态阈值进行监控告警。阈值过低，告警过于频繁，运维人员需花费大量时间判断系统是否真的存在问题，久而久之“狼来了”现象凸显，失去了告警的意义。阈值过高，质量隐患难以发现，导致遗漏许多性能故障早期现象，等到问题严重，或许用户已感知系统异常，运维工程师却一无所知。

异常检测中，时间序列分析法是常用的方法之一。时间序列分析法是通过数理方法，研究以时间顺序排列的数据集遵从的统计规律，从而推测数据未来发展趋势，指导解决实际问题。常见的时间序列分析法包括指数平滑法、差分整合移动平均自回归模型(Autoregressive Integrated Moving Average model，ARIMA)和Prophet等。

而针对不同业务数据应使用不同的异常检测算法，业务数据较少时可使用人工判断适合算法，当面对大规模业务数据时人工介入存在很大的局限性。因此，需要一种针对大规模业务数据分类建立时间序列异常检测的方法。

公开号为CN104866930A的专利文献“一种基于定量筛选时间序列预测模型的时间序列预测方法”，解决了现有时间序列预测模型的定量筛选准确度低的问题。跟本发明解决的技术问题并不相同。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种业务数据的时间序列可复用异常检测方法及系统。

根据本发明的一个方面，提供了一种业务数据的时间序列可复用异常检测方法，包括：

步骤1：获取业务历史数据，根据数据平稳性、周期性、相关性和时间粒度对业务数据进行检测；

步骤2：根据上述检测结果为所述业务数据匹配适合的时间序列算法，形成映射关系；

步骤3：使用映射的时间序列算法对所述业务数据进行建模，训练最优参数，将所述时间序列和算法的映射关系及参数保存在样本库；

步骤4：获取同一业务实时数据，根据步骤3样本库中的映射算法及最优参数对所述业务数据进行预测，根据预测结果确定预测区间；

步骤5：获取所述分析时间段的实际值，比较实际值和同时段预测区间的关系，连续超出预测范围10次以上进行告警。

优选地，所述步骤1包括：

步骤1.1：通过ADF判断所述时间序列是否平稳；

步骤1.2：使用傅里叶变化判断所述时间序列是否具有周期性；

步骤1.3：利用Pearson相关系数判断所述时间序列是否具有相关性；

步骤1.4：根据业务特征判断所述时间序列的时间粒度。

优选地，所述步骤2包括：

步骤2.1：探究时间序列算法原理，总结各类时间序列算法的应用场景和适用范围；

步骤2.2：将上述时间序列检测结果与时间序列算法做映射关系。