[发明专利]基于PCA余量空间的异常诊断方法及装置

说明书

本发明实施例提供一种基于PCA余量空间的异常诊断方法及装置，应用于包含M个状态量的系统中，M个状态量在同一时刻的取值构成一状态向量，系统正常工作状态下的N个状态向量构成原始空间，该方法包括：在检测到系统异常时，获取K个第一基向量，其中，K个第一基向量为通过对K个第二基向量进行稀疏化处理得到，第二基向量用于表示对原始空间进行PCA降维得到的余量空间，K为余量空间的维数，K小于或等于N，每个第一基向量中的元素个数为M；根据系统异常时对应的状态向量在K个第一基向量中的投影，诊断系统异常产生的原因。本发明实施例中，由于第一基向量具有稀疏的特点，便于快速、有效地诊断异常产生的原因。

技术领域

本发明实施例涉及信息技术，尤其涉及一种基于PCA余量空间的异常诊断方法及装置。

背景技术

随着计算需求的增长，需要规模更大、更加复杂的分布式计算系统。但更复杂的分布式计算系统更容易产生故障。另外，由于故障往往因系统的异常行为所导致，因此，对系统运行过程中异常的检测与诊断，是进行故障检测与诊断的基础。

利用机器学习方法，例如基于分布式计算系统中各个状态量与日志的异常检测与诊断，可以有效排除故障。其中，主成分分析(Principle Component Analysis，简称：PCA)异常检测算法与决策树模型相结合的方法，是一种有效的异常检测诊断方法。具体地，PCA异常检测算法的依据是余量的大小，例如，B收到的数据与A发出的数据不相符；在检测到异常之后，通过决策树模型来对异常检测的结果进行学习，以诊断异常产生的原因。

而决策树模型在学习PCA异常检测的结果时，将PCA异常检测的结果拆分为多种情况，例如，当A发出的数据量远大于0.5，B收到的数据量远小于0.5时为异常；当A发出的数据远小于0.5，B收到的数据远大于0.5时为异常，等等，这使得原本相同的故障被拆分成了不同的故障，从而不利于故障的诊断。

发明内容

本发明实施例提供一种基于PCA余量空间的异常诊断方法及装置，以实现对异常的有效诊断。

第一方面，本发明实施例提供一种基于主成分分析PCA余量空间的异常诊断方法，应用于包含M个状态量的系统中，所述M个状态量在同一时刻的取值构成一状态向量，所述M为大于1的正整数，所述系统正常工作状态下的N个状态向量构成原始空间，所述N为大于所述M的正整数，所述方法包括：

在检测到所述系统异常时，获取K个第一基向量，其中，所述K个第一基向量为通过对K个第二基向量进行稀疏化处理得到，所述第二基向量用于表示对所述原始空间进行PCA降维得到的余量空间，所述K为所述余量空间的维数，所述K小于或等于所述N，每个所述第一基向量中的元素个数为所述M；

根据所述系统异常时对应的状态向量在所述K个第一基向量中的投影，诊断所述系统异常产生的原因。

在第一方面的第一种可能的实现方式中，所述获取K个第一基向量，包括：

采用消元方法或优化方法，处理所述K个第二基向量，得到所述K个第一基向量。

根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述第二基向量为列向量，所述K个第二基向量组成一M*K的矩阵，所述采用消元方法，处理所述K个第二基向量，得到所述K个第一基向量，包括：

对每一所述第二基向量，得到该第二基向量中各元素的平方和，并确定平方和最大的第二基向量作为消元的主元；

更换所述矩阵中第一列与所述主元的位置，将所述主元调整到所述矩阵的第一列；

以所述主元的第一行元素为列向量长度，其他元素为零为目标，对所述矩阵进行Householder变换；