[发明专利]一种基于KPI指标的多维异常检测方法、装置及存储介质

说明书

本发明涉及计算机技术领域，公开了一种基于KPI指标的多维异常检测方法、装置及存储介质，其中方法包括以下步骤：获取警告前后P+Q分钟的交易数据；根据警告发生时刻的维度组合对P+Q分钟的维度组合进行缺失值填充并评估数据规模；根据评估数据规模采用部分异常检测或全局异常检测得到所有维度组合的异常贡献；其中部分异常检测仅对叶子节点进行异常贡献检测，上层结点的异常贡献通过下层节点的异常贡献加和得到；全局异常检测对所有维度组合的异常贡献进行检测。本发明是一种与指标含义无关的异常检测方法，充分考虑了派生测量值的影响，可以在多个指标同时异常时给出统一的异常得分，支持的维度在10维以上，是一套可实践的方法。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种基于KPI指标的多维异常检测方法、装置及存储介质。

背景技术

KPI指标（交易量，交易成功率，网页访问量等）与多维属性（如源系统、交易类型、交易渠道等），是金融行业常见而重要的业务监测指标。当一个指标的总体值发生异常时，运维人员希望在一个巨大的多维搜索空间内快速准确地定位出根因的属性组合，这对于传统的运维来说是一个极大的挑战。虽然目前也有一些通过机器学习来定位的算法和系统，但是这些方法往往并不通用和可靠。因为它们都受到不实际的根因假设的影响、进行了过于暴力的剪枝；或者只处理基础类型的指标（交易量等），而不处理派生的测量值（成功率等）；另外现有的方法大部分都需要手动微调参数，或者速度太慢。

目前针对业务指标多维分析的算法（系统）主要有Adtributor、IDcie、Hotspot、Squeeze等。大多方法主要为理论推导，离实际落地还有一定的距离。

HotSpot和Squeeze都假设预测值准确，再进行后续的搜索步骤，这在现实中是难以达到的，预测/异常检测的准确性会直接决定了后续根因分析的结果。

Adtributor则是只假设根因是一维，而这样的假设是不适合于当前复杂的微服务系统的。Adtributor对于结果仅仅是简单依据奥多姆剃刀原则保留最简洁的那一个。

IDice则针对的是一段时间序列的根因定位，事先并不清楚异常的时间点，和我们的场景不同。这样会带来额外的时间开销。同时IDice采用了极其暴力的剪枝策略去减小搜索空间，用GLR (Generalized Like-lihood Ratio)进行异常检测，例如直接去掉小于某个阈值的节点（支持度），这样的剪枝会影响上层节点的根因判断。本质上更像是在对时间序列进行多维洞察，而不是准确的根因定位。

Adtributor和Squeeze虽然可以对派生指标进行根因定位，但是并不能做到跨指标的根因排序。

在实际的应用场景中，维度变化、取值数量变化以及数据组成变化都会影响资源的使用，之前的算法都没有针对不同数量级的数据做针对性处理，在数据量过大的时候容易导致内存溢出等问题。

发明内容