[发明专利]中文网页文本除重系统及方法

摘要

本发明公开了一种中文网页文本除重系统及方法。该除重系统包括索引服务器和检索服务器，索引服务器包括网页文本预处理模块、组合特征句提取模块以及数字签名计算模块，检索服务器包括网页文本抓取模块和哈希查询模块。该除重方法包括：网页文本的归一化处理；提取文本的组合特征句；计算组合特征句的数字签名；与哈希表中已存在的数字签名比对，判定是否重复。该除重系统及方法可以帮助搜索引擎快速、准确地判定并去除互联网中大量内容重复的中文网页。当搜索引擎抓到新网页后，计算该网页的数字签名，通过与搜索引擎已保存网页的数字签名比对，判定该网页是否重复，若重复则放弃保存，从而避免了存储空间的浪费，同时提高了搜索引擎的检索精度。

主权项

一种中文网页文本除重方法，其特征在于，包括如下步骤：1)网页文本归一化处理，包括对文本的编码，文本中的全角、半角字符以及大、小写字符进行一致性转换；2)提取文本的组合特征句；3)计算组合特征句的数字签名；4)查找哈希表，判定数字签名是否与哈希表中的值存在重复，若存在重复，则去除该网页；若不存在重复，则将该网页保存到搜索引擎系统中，并将其数字签名添加到哈希表中；5)重复步骤1)至4)，判定下一个待处理网页文本；所述步骤2)进一步包括如下步骤：21)判定文本的长度，若小于文本长度阈值，则从该文本中提取特征字符，作为组合特征句；若大于或者等于文本长度阈值，则转到步骤22)；22)设置特征句分隔符列表，该特征句分隔符列表中的字符定义为分隔符；23)依次遍历文本，提取候选组合特征句；24)判断候选组合特征句的长度，若小于组合特征句长度阈值，则从该文本中提取特征字符，作为组合特征句；若大于或者等于组合特征句长度阈值，则以该候选组合特征句为组合特征句。