[发明专利]搜索引擎排重系统及方法

说明书

【技术领域】

本发明涉及网络搜索技术领域，尤其涉及一种搜索引擎排重系统及方法。

【背景技术】

搜索引擎通过自身的网页抓取程序，搜集互联网上的信息，搜集到的网页经过预处理后生成索引数据库，为用户提供检索服务。由于搜索引擎抓取的网页会有很多是重复的，因此需要对网页进行排重。所谓排重，是指去掉重复的网页，仅保留一篇进索引，其它则删除掉，不进索引。

传统的搜索引擎排重系统通常是在预处理过程中进行排重，具体是：对抓取的网页中的文档内容提取文本特征，例如对文档提取10个特征词，再提取这些特征词的指纹。指纹是判断网页相似程度的参数，调用特别的算法(如MD5算法)将一组特征词转化为一组代码，这组代码即为标识文档的指纹。如果两篇文档的指纹相同，则这两篇文档是重复的，需选择一篇文档进索引数据库，而其他重复的文档进行删除。

然而，上述传统的搜索引擎排重系统由于在预处理过程中进行排重，需要对网页内容的全部文档内容提取特征词，若特征词提取不准确，则会造成很多误判和错判，从而导致索引数据库提供的搜索页面会有很多重复的文档。

【发明内容】

基于此，有必要提供一种排重更准确的搜索引擎排重系统。

一种搜索引擎排重系统，包括：查询请求模块，根据用户输入的查询条件发送查询请求；搜索模块，查询符合所述查询条件的网页，提取网页的摘要，对所述摘要进行指纹计算，根据摘要的指纹排除重复摘要，将保留的摘要及对应网页返回至所述查询请求模块。

其中，所述搜索模块包括：至少一个检索模块，用于查询符合所述查询条件的网页，提取网页的摘要；搜索管理模块，获取至少一个检索模块提取的摘要，对所述摘要进行指纹计算，根据摘要的指纹排除重复摘要，将保留的摘要及对应网页返回至所述查询请求模块。

其中，所述搜索模块包括：至少一个检索模块，用于查询符合所述查询条件的网页，提取网页的摘要，对所述摘要进行指纹计算；搜索管理模块，获取至少一个检索模块计算得到的摘要的指纹，根据摘要的指纹排除重复摘要，将保留的摘要及对应网页返回至所述查询请求模块。

其中，搜索管理模块还用于获取网页的页面权重，在根据摘要的指纹排除重复摘要时，保留页面权重最高的网页及摘要。

其中，所述搜索模块包括至少一个：网页抓取模块，抓取网页；预处理模块，从抓取的网页中提取文本特征，对所述文本特征进行指纹计算，根据文本特征的指纹排除重复网页。

其中，所述预处理模块还用于从抓取的网页中提取关键词，根据所述关键词建立网页索引文件；所述搜索模块还包括根据所述网页索引文件存储排除重复网页后的网页、供所述检索模块查询的的索引数据库。

此外，还有必要提供一种排重更准确的搜索引擎排重方法。

一种搜索引擎排重方法，包括以下步骤：根据用户输入的查询条件发送查询请求；查询符合所述查询条件的网页，提取网页的摘要；对所述摘要进行指纹计算，根据摘要的指纹排除重复摘要；返回保留的摘要及对应网页。

其中，所述返回保留的摘要及对应网页的步骤包括：获取网页的页面权重，根据摘要的指纹排除重复摘要，并保留页面权重最高的网页及摘要。

其中，在所述查询符合搜索条件的网页之前还包括：抓取网页，从抓取的网页中提取文本特征，对所述文本特征进行指纹计算，根据文本特征的指纹排除重复网页。

其中，所述根据文本特征的指纹排除重复网页的步骤是：获取网页的页面权重，排除重复网页时保留页面权重最高的网页。

上述搜索引擎排重系统及方法，通过对网页的摘要进行指纹计算，相对于现有对网页的全部文档内容进行指纹计算，能减少特征词提取不准确的几率，使排重更准确。

此外，在预处理过程中对网页进行排重，使得网页在进入索引数据库之前得到了一次排重，而根据查询请求在索引数据库中找到符合查询条件的网页后，根据网页的摘要的指纹再进行一次排重，两次排重能更加准确的排除重复的网页，从而减少了提供给用户的重复网页。

【附图说明】

图1为第一实施例中的搜索引擎排重系统的示意图；

图2为第二实施例中的搜索引擎排重系统的示意图；

图3为第三实施例中搜索引擎排重系统的示意图；

图4为一个实施例中搜索引擎排重方法的流程图；

图5为另一个实施例中搜索引擎排重方法的流程图。

【具体实施方式】