[发明专利]在数据挖掘中去除重复的方法和设备

权利要求书

1.一种用于提取挖掘重复规则的方法，包括：

接收多个标识信息的模式和特征字段，其中所述模式是所述标识 信息的共性部分，以及所述特征字段是所述标识信息的特性部分；

对得到的模式进行分组，以得到重复模式组，其中与所述重复模 式组中的各个模式所对应的标识信息相关联的数据资源的内容一 致；

其中对得到的模式进行分组包括：

从所述特征字段中获取公共的特征字段；

将所述公共的特征字段的位置记录在相应模式之后，以形成 模式特征位置串；

验证与每两个模式特征位置串所对应的标识信息相关联的 数据资源的内容是否一致；

当数据资源的内容一致时，将对应的两个模式特征位置串确 定为重复模式对；以及

利用所述重复模式对之间的传递关系，构造重复模式组。

2.根据权利要求1所述的方法，其中在所述接收多个标识信息 的模式和特征字段之前还包括：

针对所述多个标识信息中的每一个：

利用分隔字符将所述标识信息划分为一个或者多个分段；

提取所述一个或者多个分段中的数字部分作为特征字段；

利用替换字符来替换所述一个或者多个分段中的数字部分， 以便得到一个或者多个替换后的分段；以及

将所述一个或者多个替换后的分段连同所述分隔字符，按原 顺序连接以作为所述模式。

3.根据权利要求1所述的方法，进一步包括：

在所述重复模式组中，验证与各模式特征位置串所对应的标识信 息相关联的数据资源的内容一致的置信度。

4.根据权利要求3所述的方法，其中验证与各模式特征位置串 所所对应的标识信息相关联的数据资源的内容一致的置信度进一步 包括：

获取各模式特征位置串所对应的标识信息的各个列表，并抽样验 证与所述列表中的标识信息相关联的数据资源的内容是否一致。

5.根据权利要求1所述的方法，其中所述标识信息是统一资源 定位符URL。

6.一种用于在数据挖掘中去除重复的方法，包括：

得到两个或者更多标识信息的特征值；

接收所述特征值；

当两个或者更多标识信息的特征值相同时，确定所述两个或者更 多标识信息是重复的；以及

选取重复的标识信息中的一个作为重复标识信息的代表，

其中得到两个或者更多标识信息的特征值进一步包括：

将所述标识信息划分为模式和特征字段，其中所述模式是所 述标识信息的共性部分，以及所述特征字段是所述标识信息的特 性部分；以及

将所述模式所处的重复模式组的标识以及所述特征字段确 定为所述标识信息的特征值；

其中，与同一重复模式组中的各模式所对应的标识信息相关 联的数据资源的内容一致。

7.根据权利要求6的方法，其中将所述标识信息划分为模式和 特征字段包括：

利用分隔字符将所述标识信息划分为一个或者多个分段；

提取所述一个或者多个分段中的数字部分作为特征字段；

利用替换字符来替换所述一个或者多个分段中的数字部分，以便 得到一个或者多个替换后的分段；以及

将所述一个或者多个替换后的分段连同所述分隔字符，按原顺序 连接以作为所述模式。

8.根据权利要求6所述的方法，进一步包括：

将所述作为代表的标识信息以外的其他重复的标识信息进行删 除。

9.根据权利要求6所述的方法，进一步包括：

将作为代表的所述标识信息以外的其他重复的标识信息设置为 较低权重。

10.根据权利要求6所述的方法，进一步包括：

对作为代表的所述标识信息的特征值建立字典。