[发明专利]在数据挖掘中去除重复的方法和设备

说明书

技术领域

本发明涉及数据处理技术领域，更具体地，本发明涉及一种用 于在数据挖掘中去除重复的方法和设备。

背景技术

随着计算机技术的不断发展，数据处理技术已经日益渗透到人 们工作和生活的各个方面。尤其是，随着互联网技术的飞速发展， 在每个人的日常生活中需要面对各种各样的数据资源。当面对纷繁 复杂的数据资源时，如何识别其中的重复性便成为了一个亟待解决 的问题。

对于互联网上存在的各种数据资源而言，数据资源的重复性问 题尤其严重。在互联网上经常存在重复的网页内容，即，两个或者 多个URL(统一资源定位符)指向内容完全相同的网页。不同URL 对应相同的网页内容是互联网上非常普遍的现象，在此将这一现象 称为重复。

根据网页内容的提供者是否相同，可以将重复区分为“相同资 源重复””和“不同资源的重复”。通常，相同资源的重复对于搜索 引擎来说是无价值的。对于搜索引擎而言，收录多个相同资源将带 来抓取、存储资源的浪费；只需收录重复资源其中的一个即可。这 样，去除重复成为一项亟待解决的重要课题。

目前总结重复规律和预判重复所应用的方法均是首先根据观察 到的重复现象来人工定义重复分类。例如，这些人工定义的重复可 以包括：站点级重复、路径重复等等。然后根据重复分类，基于重 复组去挖掘不同类型的重复规律，应用规律去预判重复。

在附图1中示出了根据现有技术的一种挖掘重复的方法的流程 图100。如图所示，对于在步骤S102中接收的URL，需要针对不同 重复分类分别执行多个挖掘处理，例如，在步骤S104中执行站点级 挖掘重复、在步骤S106中执行路径级挖掘重复、在步骤S108中执 行无效参数挖掘重复，等等。如果人工定义了其他重复分类，则还 需要在其他步骤中执行额外的处理。

人工分类挖掘重复规律的方法的主要缺陷在于：首先，重复分 类无法枚举，尽管目前已经定义了多种重复分类，但随着研究的深 入，仍然会出现未定义的重复分类；其次，针对每一种重复分类进 行一次挖掘和应用(即，如上文中针对图1的处理过程所述)，使 得面临的工作中心过于分散，难以集中力量进行研发。

发明内容

本发明的一个目的在于提供改进的在数据挖掘中去除重复的技 术。

根据本发明的一个方面，公开了一种用于提取挖掘重复规则的 方法，包括：

接收多个标识信息的模式和特征字段，其中所述模式是所述标 识信息的共性部分，以及所述特征字段是所述标识信息的特性部分；

对得到的模式进行分组，以得到重复模式组，其中所述重复模 式组中的各个模式对应的标识信息相关联的数据资源的内容相一 致。

根据本发明的另一方面，公开了一种用于在数据挖掘中去除重 复的方法，包括：

接收两个或者更多标识信息的特征值；

当两个或者更多标识信息的特征值相同时，确定所述两个或者 更多标识信息是重复的；以及

选取重复的标识信息中的一个作为重复标识信息的代表。

根据本发明的另一方面，公开了一种从标识信息提取模式和特 征字段的方法，其中所述模式标识所述标识信息的共性部分，而所 述特征字段标识所述标识信息的特性部分，该方法包括：

利用分隔字符将所述标识信息划分为一个或者多个分段；

提取所述一个或者多个分段中的数字部分作为特征字段；

利用替换字符来替换所述一个或者多个分段中的数字部分，以 便得到一个或者多个替换后的分段；以及

将所述一个或者多个替换后的分段连同所述分隔字符，按原顺 序连接以作为所述模式。

根据本发明的另一方面，公开了一种用于提取挖掘重复的规则 的设备，包括：

用于接收多个标识信息的模式和特征字段的装置，其中所述模 式是所述标识信息的共性部分，以及所述特征字段是所述标识信息 的特性部分；

用于对得到的模式进行分组以得到重复模式组的装置，其中所 述重复模式组中的各个模式对应的标识信息相关联的数据资源的内 容相一致。

根据本发明的另一方面，公开了一种用于在数据挖掘中去除重 复的设备，包括：

用于接收两个或者更多标识信息的特征值的装置；

用于当两个或者更多标识信息的特征值相同时，确定所述两个 或者更多标识信息是重复的装置，以及