[发明专利]一种基于并行计算的离群数据挖掘方法

摘要

本发明公开了一种基于并行计算的离群数据挖掘方法，利用属性维上的局部稀疏程度，重新定义了相关子空间，从而能够有效地刻画各种局部数据集上的分布特征；其次，利用局部数据集的概率密度，给出了局部离群因子计算公式，有效地体现了数据对象不服从局部数据集分布特征的程度，并选取离群程度最大的N个数据对象定义为局部离群数据。本发明公开的一种基于并行计算的离群数据挖掘方法，在计算稀疏度因子和离群因子Factor时由Map来实现；在按Factor大小进行全排序时，使用一个Map对Factor进行取样，进而实现决定各个(K2，V2)分配到哪个结点的函数，从而有效地解决了数据分配不均匀问题和局部有序但全局无序问题。

主权项

一种基于并行计算的离群数据挖掘方法，其特征在于：包括以下步骤：S1、执行LSH中的MapReduce任务，生成{(obj，LDS(obj))}，并行计算数据对象obj的LDS(obj)；S2、以{(obj，LDS(obj))}作为输入，执行MapReduce任务，生成{(obj，}，确定DS中每个数据对象obj对应的稀疏度因子；S3、以{(obj，}作为输入，执行LSH中的MapReduce任务，生成{(obj，([ZLk]kxd(o)(o∈LDS(obj i))))}，确定DS中每个数据对象obj的LDS(obj)对应的局部稀疏因子矩阵[ZLk]kxd(o)(o∈LDS(obji))；S4、以{(obj，([ZLk]kxd(o)(o∈LDS(obji))))}作为输入，执行MapReduce任务，生成{(obj，Factor(obj))}，确定DS中每个数据对象obj对应的离群因子Factor(obj)；S5、以{(obj，Factor(obj))}作为输入，执行MapReduce任务，对{(obj，Factor(obj))}按Factor大小进行全排序，确定DS中每个数据对象obj按对应的离群因子Factor(obj)的大小进行全排序；S6、在步骤5的输出中找离群程度最大的n个数据对象，选取Top(N)作为离群数据。