[发明专利]一种基于MapReduce的并行异常检测方法及系统

权利要求书

1.一种基于MapReduce的并行异常检测方法，其特征在于，所述基于MapReduce的并行异常检测方法根据需求将存放在Hadoop分布式文件系统上的数据集随机切分为多个数据块；利用MapReduce框架并行计算各块中数据点的局部异常因子，并用k-distinct-neighbor替换k-nearest-neighbor；将各数据块中LOF值大于设定阈值的数据点合并重新计算LOF值；

替换为k-nearest-neighbor具体包括：

计算每个数据对象与其他数据对象的距离；对距离进行排序；

将距离不等于0的k个数据对象作为k-distinct-neighbor；

所述基于MapReduce的并行异常检测方法具体包括以下步骤：

首先将数据集存放在HDFS上并根据需求随机的将原始数据集切分为多个数据块；

然后，在每个数据块中，利用LOF思想计算各个点的局部异常因子，其中为了去除大于或等于k个重复点对结果的影响；将k-nearest–neighbor替换为k-distinct-neighbor；

最后将每个数据块中局部异常因子小于设定阈值的点删除，并将大于设定阈值的数据点合并成一个数据集，再次计算这些点的局部异常因子以提高算法的准确度和灵敏度；

所述基于MapReduce的并行异常检测方法进一步包括以下步骤：

(1)将存储在HDFS上的数据集逻辑划分为多个数据块；

(2)基于MapReduce框架，将数据块分配到多个Map中利用LOF算法思想进行并行计算各个数据对象的局部异常因子，将LOF算法中计算的k-nearest–neighbor替换为k-distinct-neighbor；

LOF算法：

输入：样本集合D，正整数k，用于计算第k距离，LOF阈值；

输出：异常数据集；

1)计算每个数据对象与其他数据对象的距离；

2)对距离进行排序，计算第k直接距离以及k邻域；

3)计算每个数据对象的可达密度；

4)计算每个数据对象的局部离群因子；

5)将局部离群因子LOF值大于LOF阈值的数据对象作为异常点输出；

(3)将各个数据块中的异常点合并，再次利用LOF算法思想计算这些数据对象的LOF值以提高算法的准确度和灵敏度；

所述基于MapReduce的并行异常检测方法首先将数据集存放在HDFS上并根据需求随机的将原始数据集切分为多个数据块；然后，在每个数据块中，利用LOF思想计算各个点的局部异常因子，其中为了去除大于或等于k个重复点对结果的影响；将k-nearest–neighbor替换为k-distinct-neighbor，从而避免这些点的平均可达距离为零，局部密度为无穷大的情况；最后将每个数据块中局部异常因子小于设定阈值的点删除，并将大于设定阈值的数据点合并成一个数据集，再次计算这些点的局部异常因子以提高算法的准确度和灵敏度。

2.一种实现权利要求1所述基于MapReduce的并行异常检测方法的基于MapReduce的并行异常检测系统，其特征在于，所述基于MapReduce的并行异常检测系统包括：

数据集切分模块，用于根据需求将存放在Hadoop分布式文件系统上的数据集随机切分为多个数据块；

并行计算模块，用于利用MapReduce框架并行计算各块中数据点的局部异常因子，并用k-distinct-neighbor替换k-nearest-neighbor；

合并计算模块，用于将各块中LOF值大于设定阈值的数据点合并重新计算LOF值。

3.一种应用权利要求1所述基于MapReduce的并行异常检测方法的移动通信系统。

4.一种应用权利要求1所述基于MapReduce的并行异常检测方法的云计算系统。