[发明专利]一种基于HadoopMapReduce编程框架的数据统计排重的方法

权利要求书

1.一种基于Hadoop MapReduce编程框架的数据统计排重的方法，其特征在于：该方法基于Hadoop MapReduce编程框架的key和value的划分机制，包括以下步骤：

(1)每个map分别处理各自分区的数据，将数据对象object和其对应的每个attribute分别结合，形成不同的关键词key；将每个属性attribute对应的权重weight划分为其与object结合形成的key的权值value，从而形成key/value对；

(2)按照key将数据划分到不同的reduce分区，并对不同的reduce分区的数据分别按照key排序；

(3)将步骤(2)的数据写回map节点的磁盘。

2.根据权利要求1所述的基于Hadoop MapReduce编程框架的数据统计排重的方法，其特征在于：该方法还包括以下步骤：

(4)每个reduce计算节点从各个map节点取走属于该reduce计算节点的数据，对取回的所有数据按照key进行merger排序；

(5)相同key对应的value形成一个列表，并返回该列表的一个迭代子；

(6)对每个key对应的数据集列表进行合并处理；

(7)输出处理结果。

3.根据权利要求2所述的基于Hadoop MapReduce编程框架的数据统计排重的方法，其特征在于：所述步骤(1)还包括：对每个由object和attribute形成的key，将key相同的weight值相加。