[发明专利]MapReduce环境下的异常检测方法

说明书

技术领域

本发明涉及信息技术领域，尤其涉及一种MapReduce环境下的异常检测方法。

背景技术

随着虚拟化等关键技术的发展，云计算作为一种新兴的信息技术运用模式得到越来越广泛的关注和普及。通过采用精心设计的系统架构对设备进行组织管理，云计算能够提供十分强大的计算能力。一个著名的云计算架构是Google的MapReduce，它能将任务并行且分布式地运行于大型的集群中。

MapReduce中运行的多是一些耗时较长的任务，不同的任务有不同的需求，同一任务每次执行的时间也不尽相同，一般会相差几分钟甚至更多时间，而且不同的硬件设施也会导致响应时间不同，因此，很难定义一个超时阀值来指示任务是否异常。此外，MapReduce还具有分布式多节点并行运算的特点。由于需要同时检测多个计算节点，且这些节点相互影响，这也增加了异常检测的难度。当系统发生异常时，会导致完成任务所需的时间增加并影响单位时间的数据吞吐量，严重时更会中断任务，这些都会影响运行在云上的企业业务，给企业自身及其客户带来损失。因此需要及时地检测系统异常，以减少和避免损失。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：提供一种及时检测系统异常、以减少和避免损失的MapReduce环境下的异常检测方法。

(二)技术方案

为解决上述问题，本发明提供了一种MapReduce环境下的异常检测方法，包括以下步骤：

S1：采集MapReduce中各从节点的性能指标值，并传递给主节点；

S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类；

S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；

S4：对聚类后的结果进行分析，记录得到的异常结果并输出。

优选地，所述性能指标为即时的操作系统级别的性能指标。

优选地，所述步骤S3对各从节点的某一类性能指标值进行聚类的步骤具体包括：

S31：输入分类后得到的各从节点的某一类性能指标值；

S32：根据所述各从节点的该类性能指标值的大小将所述各从节点的该类性能指标值分为若干集群；其中，一个从节点的该类性能指标值与所在集群中的至少一个其他从节点的该类性能指标值之差小于设定的阈值；

S33：输出聚类后得到的所有集群。

优选地，所述步骤S32具体包括：

S321：对各从节点的该类性能指标值按照从大到小的顺序进行排序；当然，在本发明的其它实施例中，还可以按照从小到大的顺序进行排列；

S322：建立一个空白集群作为当前集群，并指定所述各从节点的该类性能指标值中最大的一个作为当前指向数据，并将所述当前指向数据加入当前集群；

S323：检测所有集群外是否还有剩余的从节点的该类性能指标值，如果没有，则转到步骤S33；如果有，则转到步骤S324；

S324：判断当前指向数据和下一个从节点的该类性能指标值之间的差值与预先设定的阈值之间的关系，如果所述差值小于等于所述预先设定的阈值，则进入步骤S325；否则，如果所述差值大于所述预先设定的阈值，则进入步骤S326；

S325：将所述下一个从节点的该类性能指标值加入到当前集群中，并将所述下一个从节点的该类性能指标值指定为当前指向数据，然后回到步骤S323；

S326：重新建立新的集群作为当前集群，并将所述下一个从节点的该类性能指标值指定为当前指向数据加入当前集群，然后返回到步骤S323。

优选地，步骤S33中输出的各集群按照建立的先后顺序排列。

优选地，所述步骤S4对聚类后的结果进行的分析包括：

计算各个集群内的从节点的该类性能指标值的个数；

定义含有从节点的该类性能指标值个数最多的集群为正常集群，其它集群为异常集群，其中：位置在正常集群之前的集群为值偏高的集群，位置在正常集群之后的集群为值偏低的集群；

输出异常集群中的各从节点的该类性能指标值所对应的信息。

优选地，所述属于值偏高和偏低的集群中的各从节点的该类性能指标值所对应的信息包括：节点名称、异常时刻、性能指标类别、值偏高还是偏低、以及异常程度。

优选地，所述异常程度通过下面的方法得到：