[发明专利]重复文档检测及表示功能

摘要

很多公司提供了使用户进行计算机化的文档检索的在线检索设备。不幸的是，这些检索通常提供包括重复的文档，即彼此完全或实质上相同的文档的结果。这个问题在例如检索新闻报道时尤其令人烦恼。此外，重复文档混杂在搜索结果中，让用户去人工应付对它们进行复杂的标识和/或筛选。本发明提供了有助于在搜索结果中重复文档的标识和/或分组的系统、方法和软件。一示范性系统包括基于长度、时间和/或内容分量产生文档签名的签名生成模块；使用文档签名来标识“精确的”或“模糊的”重复文档的实时复本检测模块；以及控制搜索结果中的重复文档如何被表示或抑制的用户界面或表示模块。

主权项

1.一种信息检索系统，包括：一个或多个数据库；一个或多个协助客户通过网络访问数据库的服务器，各服务器包含：查询定义部件，协助用户提交查询并协助用户选择与包含一个或多个其它搜索结果文档的重复内容的搜索结果文档之识别相关联的选项；以及复本判定部件，用于判定一个或多个搜索结果文档是否包括一个或多个其它搜索结果文档内容中的重复内容，所述复本判定部件包含：用于比较第一和第二文档各自的第一和第二特征向量的部件，各特征向量包含多个从各自文档中选择的特征的等长二进制表示，各二进制表示基于一个或多个数据库的逆文本频率指数(idf)表内的特征中的一个对应特征的顺序位置；以及用于基于第一和第二特征向量的比较结果来判定第一和第二文档是否为复本的部件，以及用于基于选定的选项控制搜索结果文档的显示的部件，至少一个显示结果被指示为包含结果内一个或多个其它文档内容中的重复内容。