[发明专利]搜索引擎排重系统及方法

权利要求书

1.一种搜索引擎排重系统，其特征在于，包括：

查询请求模块，根据用户输入的查询条件发送查询请求；

搜索模块，查询符合所述查询条件的网页，提取网页的摘要，对所述摘要进行指纹计算，根据摘要的指纹排除重复摘要，将保留的摘要及对应网页返回至所述查询请求模块。

2.根据权利要求1所述的搜索引擎排重系统，其特征在于，所述搜索模块包括：

至少一个检索模块，用于查询符合所述查询条件的网页，提取网页的摘要；

搜索管理模块，获取至少一个检索模块提取的摘要，对所述摘要进行指纹计算，根据摘要的指纹排除重复摘要，将保留的摘要及对应网页返回至所述查询请求模块。

3.根据权利要求1所述的搜索引擎排重系统，其特征在于，所述搜索模块包括：

至少一个检索模块，用于查询符合所述查询条件的网页，提取网页的摘要，对所述摘要进行指纹计算；

搜索管理模块，获取至少一个检索模块计算得到的摘要的指纹，根据摘要的指纹排除重复摘要，将保留的摘要及对应网页返回至所述查询请求模块。

4.根据权利要求2或3所述的搜索引擎排重系统，其特征在于，搜索管理模块还用于获取网页的页面权重，在根据摘要的指纹排除重复摘要时，保留页面权重最高的网页及摘要。

5.根据权利要求4所述的搜索引擎排重系统，其特征在于，所述搜索模块包括至少一个：

网页抓取模块，抓取网页；

预处理模块，从抓取的网页中提取文本特征，对所述文本特征进行指纹计算，根据文本特征的指纹排除重复网页。

6.根据权利要求5所述的搜索引擎排重系统，其特征在于，所述预处理模块还用于从抓取的网页中提取关键词，根据所述关键词建立网页索引文件；所述搜索模块还包括根据所述网页索引文件存储排除重复网页后的网页、供所述检索模块查询的的索引数据库。

7.一种搜索引擎排重方法，包括以下步骤：

根据用户输入的查询条件发送查询请求；

查询符合所述查询条件的网页，提取网页的摘要；

对所述摘要进行指纹计算，根据摘要的指纹排除重复摘要；

返回保留的摘要及对应网页。

8.根据权利要求7所述的搜索引擎排重方法，其特征在于，所述返回保留的摘要及对应网页的步骤包括：获取网页的页面权重，根据摘要的指纹排除重复摘要，并保留页面权重最高的网页及摘要。

9.根据权利要求8所述的搜索引擎排重方法，其特征在于，在所述查询符合搜索条件的网页之前还包括：抓取网页，从抓取的网页中提取文本特征，对所述文本特征进行指纹计算，根据文本特征的指纹排除重复网页。

10.根据权利要求9所述的搜索引擎排重方法，其特征在于，所述根据文本特征的指纹排除重复网页的步骤是：获取网页的页面权重，排除重复网页时保留页面权重最高的网页。