[发明专利]MapReduce环境下的异常检测方法

权利要求书

1.一种MapReduce环境下的异常检测方法，其特征在于，包括以下步骤：

S1：采集MapReduce中各从节点的性能指标值，并传递给主节点；

S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类；

S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；

S4：对聚类后的结果进行分析，记录得到的异常结果并输出。

2.如权利要求1所述的MapReduce环境下的异常检测方法，其特征在于，所述性能指标为即时的操作系统级别的性能指标。

3.如权利要求1所述的MapReduce环境下的异常检测方法，其特征在于，所述步骤S3对各从节点的某一类性能指标值进行聚类的步骤具体包括：

S31：输入分类后得到的各从节点的某一类性能指标值；

S32：根据所述各从节点的该类性能指标值的大小将所述各从节点的该类性能指标值分为若干集群；其中，一个从节点的该类性能指标值与所在集群中的至少一个其他从节点的该类性能指标值之差小于设定的阈值；

S33：输出聚类后得到的所有集群。

4.如权利要求3所述的MapReduce环境下的异常检测方法，其特征在于，所述步骤S32具体包括：

S321：对各从节点的该类性能指标值按照从大到小的顺序进行排序；

S322：建立一个空白集群作为当前集群，并指定所述各从节点的该类性能指标值中最大的一个作为当前指向数据，并将所述当前指向数据加入当前集群；

S323：检测所有集群外是否还有剩余的从节点的该类性能指标值，如果没有，则转到步骤S33；如果有，则转到步骤S324；

S324：判断当前指向数据和下一个从节点的该类性能指标值之间的差值与预先设定的阈值之间的关系，如果所述差值小于等于所述预先设定的阈值，则进入步骤S325；否则，如果所述差值大于所述预先设定的阈值，则进入步骤S326；

S325：将所述下一个从节点的该类性能指标值加入到当前集群中，并将所述下一个从节点的该类性能指标值指定为当前指向数据，然后回到步骤S323；

S326：重新建立新的集群作为当前集群，并将所述下一个从节点的该类性能指标值指定为当前指向数据加入当前集群，然后返回到步骤S323。

5.如权利要求4所述的MapReduce环境下的异常检测方法，其特征在于，步骤S33中输出的各集群按照建立的先后顺序排列。

6.如权利要求5所述的MapReduce环境下的异常检测方法，其特征在于，所述步骤S4对聚类后的结果进行的分析包括：

计算各个集群内的从节点的该类性能指标值的个数；

定义含有从节点的该类性能指标值个数最多的集群为正常集群，其它集群为异常集群，其中：位置在正常集群之前的集群为值偏高的集群，位置在正常集群之后的集群为值偏低的集群；

输出异常集群中的各从节点的该类性能指标值所对应的信息。

7.如权利要求6所述的MapReduce环境下的异常检测方法，其特征在于，所述属于值偏高和偏低的集群中的各从节点的该类性能指标值所对应的信息包括：节点名称、异常时刻、性能指标类别、值偏高还是偏低、以及异常程度。

8.如权利要求7所述的MapReduce环境下的异常检测方法，其特征在于，所述异常程度通过下面的方法得到：

先计算出正常集群中各从节点的该类性能指标值的平均值，然后计算异常集群中的从节点的该类性能指标值与所述平均值之间的差距作为该从节点的该类性能指标值的异常程度。