[发明专利]基于Hadoop框架的大规模对象识别方法

权利要求书

1.一种基于Hadoop框架的大规模对象识别方法，其特征在于，包括：

步骤10、读入所有预定义的匹配规则；

步骤20、输入作为对象描述数据的记录，记录的数据格式包括记录id及相应的属性；

步骤30、对于每个匹配规则，如果记录具有该匹配规则所需的所有属性，通过Map作业根据该记录输出键值对，其中，键为该记录的该所有属性的内容，值为该记录的记录id；

步骤40、对于步骤30所输出的键值对，相同键的键值对通过Reduce作业输出以相应的记录id的集合为值的键值对，将该记录id的集合称为记录组；

步骤50、输出以记录组为值且以该记录组中的记录id分别为键的键值对，对于同一记录id所对应的记录组进行传递闭包处理得到新的记录组；

步骤60、反复进行步骤50，直至记录组没有改变；

其中，步骤50包括：

步骤501、第一Map阶段，对于记录组及其包含的记录id，通过Map作业广播记录id所属的记录组，输出以记录组为值且以该记录组中的记录id分别为键的键值对；

步骤502、第一Reduce阶段，通过Reduce作业处理步骤501输出的键值对；如果记录id同时属于多个记录组，合并该多个记录组成为新的记录组，标记该新的记录组的状态信息为新增，标记该多个记录组的状态信息为删除；如果记录id只属于一个记录组，标记该记录组的状态信息为保留；

步骤503、第二Map阶段，读取步骤502的输出结果，通过Map作业输出以记录组为键并且以该记录组的状态信息为值的键值对；

步骤504、第二Reduce阶段，通过Reduce作业根据每个记录组的状态信息对记录组执行新增、删除或保留操作。

2.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，步骤30还包括：如果记录不匹配任一匹配规则，通过Map作业根据该记录输出防止该记录丢失的键值对，其中，值为该记录的记录id。

3.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，步骤502包括：

如果记录id同时属于多个记录组，将该多个记录组合并去重后生成新的记录组，新的记录组的作为键输出，状态信息新增作为对应的值输出；对每个旧的记录组，该旧的记录组作为键输出，状态信息删除作为对应的值输出；

如果记录id只属于一个记录组，该记录组作为键输出，状态信息保留作为对应的值输出。

4.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，步骤504包括：

如果状态信息中含有新增，输出此记录组；

如果状态信息中含有删除，忽略此记录组；

如果状态信息中含有保留，输出此记录组。

5.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，步骤60中判断记录组没有改变的条件为记录组的数量保持不变。

6.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，步骤60中判断记录组没有改变的条件为没有处于删除状态的记录组出现。

7.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，该匹配规则包括：

匹配规则的数据格式包括规则id及待比较的属性列的列表；

该匹配规则的含义为，对于任意两条记录，如果待比较的属性都不为空且相等，则称该两条记录匹配规则成功。

8.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，对于多条匹配规则，任意两条记录满足任一条规则即称该两条记录匹配规则成功。

9.根据权利要求1所述的基于Hadoop框架的大规模对象识别方法，其特征在于，如果第一规则判定第一记录和第二记录为同一对象，第二规则判定该第二记录和第三记录为同一对象，则该第一记录、第二记录和第三记录为同一对象。