[发明专利]一种基于多种无监督方法融合的单指标异常检测方法

说明书

一种基于多种无监督方法融合的单指标异常检测方法，涉及智能运维异常检测领域。包括以下步骤：1)提取分析数据：将存储在数据库中的数据，按分钟级取数，并返回所需的数据格式；2)对步骤1)提取的数据采用无监督方法进行初步把关筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集输出为正常，其余样本输出为疑似异常；3)训练模型：对于步骤2)中识别出的正常样本构建模型；4)进行模型的评估；5)输出最终的模型，部署在线上模块进行实时的异常检测。不仅能够解决传统异常检测方法效率低的问题，还能够在与新的有监督方法的对比中占据优势，达到较高的识别精度。既满足效率方面的要求，又能够节省人力打标的成本。

技术领域

本发明涉及智能运维异常检测领域，尤其是涉及一种基于多种无监督方法融合的单指标异常检测方法。

背景技术

Gartner在2016年提出了AIOps(智能运维)概念，预测到2020年，AIOps的使用率会高达50％。AIOps主要是利用机器学习算法自动地从海量运维数据中不断地学习、提炼并总结规则，将过去人工总结运维规则的过程变成自动学习的过程。而异常检测作为智能运维中的重要的一个步骤，近几年也是受到越来越多的企业的重视，一些学者也参与到其中进行研究。运维系统中常见的两大类监控数据源是：指标和文本。前者通常是时序数据，即包含指标采集时间和对应指标的值；后者通常是半结构化文本格式，如程序日志、Tracing等。随着系统规模的变大、复杂度的高、监控覆盖的完善，监控数据量越来越大，运维人员无法从海量监控数据中发现质量问题。智能化的异常检测就是要通过AI算法，自动、实时、准确地从监控数据中发现异常，为后续的诊断、自愈提供基础。异常检测的常见任务包括对数据源的异常检测，保证数据质量，以及对指标和文本的异常检测。本发明主要是集中在对指标数据的异常检测。

目前主要的一些无监督异常检测方法有很多。中国专利CN101561878B提供一种基于改进CURE聚类算法的无监督异常检测方法和系统。该检测方法包括步骤：对训练集进行聚类，将异常行为数据与正常行为数据分类；对已经分类的数据进行标记；根据标记为正常行为的数据进行建模，其建模算法为基于超矩形的建模算法；将待检测数据与正常行为模型进行对比，判断是否为异常数据。该检测系统包括：数据格式化模块、聚类模块、标类模块、模型生成模块以及检测模块。中国专利CN110826642A公开一种针对传感器数据的无监督异常检测方法，包括以下步骤：(101)、获取历史数据；(102)、建立训练模型，通过历史数据对训练模型进行训练；(103)、重新以固定时间间隔获取实时采集的传感器数据；(104)、对实时采集的传感器数据进行检测；(105)、输出检测出的异常数据。

发明内容

本发明的目的是为了解决传统运维中设置固定阈值进行异常检测效率低下、有监督方法训练模型耗费大量人力打标的问题，提供一种基于多种无监督方法融合的单指标异常检测方法。具体的说，以历史数据为基础，通过历史数据中正常数据构建无监督模型，然后经过层层无监督筛选，实现无监督异常检测。

本发明包括以下步骤：

1)提取分析数据：将存储在数据库中的数据，按分钟级取数，并返回所需的数据格式；

2)对步骤1)提取的数据采用无监督方法进行初步把关筛选，从海量的数据中以较大把握过滤筛选出一批正常数据集输出为正常，其余样本输出为疑似异常；

3)训练模型：对于步骤2)中识别出的正常样本构建模型；

4)进行模型的评估；

5)输出最终的模型，部署在线上模块进行实时的异常检测。

在步骤1)中，所述提取分析数据，考虑到时间序列的周期性，提取当前时刻数据，当前时刻及前T小时数据，一天前同时刻及前后T小时数据，一周前同时刻及前后T小时数据。