[发明专利]一种用于数据检索的搜索系统和方法及其在搜索引擎中的应用

说明书

本发明涉及一种用于信息(特别是以正文T的形式存储的信息)检索的搜索系统，其中，信息检索以查询Q与被检索信息R之间的给定或不同程度的匹配而发生，其中搜索系统包含一个用于存储正文(T)的数据结构，一个测量查询Q与被检索信息R之间匹配程度的尺度M和一个用于执行搜索-特别是根据关键字的全文搜索的搜索算法；本发明还涉及该信息(特别是以正文T的形式存储的信息)检索的搜索系统中的一种方法，其中将正文T划分成单词和单词序列，单词是符号的序列，其中每个单词被构造为一个或多个后缀，后缀是构成序列的单词中的符号的子集；本发明还涉及该搜索系统的使用。

人类知识的各个领域中的巨量信息被收集和存储在计算机存储系统中。随着计算机存储系统越来越多地连接到公共的数据通信网络，人们越来越努力地开发搜索和检索信息的系统和方法供公众或个人使用。然而，目前的数据搜索方法还有局限，这些局限严重降低了有效检索和使用以这种方式存储的信息的可能性。

信息能以不同数据类型的形式存储，在信息搜索和检索的意义上，区别动态数据和静态数据是有用的。动态数据是经常不断改变的数据，因此有效数据的集合总是在变化；而静态数据则不大改变，或者根本不变。例如，诸如股票值的经济数据或气象数据的变化很快，所以是动态的。另一方面，档案式存储的书籍和文献一般是永久性的，所以是静态的。数据易失性的概念涉及信息在多长时间里有效。数据易失性对应当如何搜索和检索信息有一定影响。大量的数据要求有便于搜索的某种结构，但是建立这种结构的时间成本决不能高于数据有效的时间。建立一个结构的成本取决于数据量，因此为检索信息而建立数据结构时应当考虑数据量和易失性两个方面。所收集的信息被存储在数据库中，这些数据库可能是结构化的，也可能是非结构化的。此外，数据库可能含有数种类型的文件，包括含有图象、影像、声音和格式化或带注释正文的复合文件。特别结构化的数据库通常具有便于搜索和检索数据的索引。万维网(WWW)的成长提供了稳定增长的复合文件和超链接文件的收集。这些文件许多都没有收集在结构化数据库中，没有便于快速搜索的索引。然而，对搜索万维网中的文件的需求是显而易见的，由于已经开发了许多所谓的搜索引擎，至少能搜索万维网中信息的一部分。

搜索引擎一般被理解为用于搜索和检索信息的一个或多个工具。除了适当的搜索系统，搜索引擎也含有一个例如包含来自大量统一资源定位器(URL)的正文的索引。这种搜索引擎的例子是Alta Vista、Inktomy技术公司的Hotbot、Infoseek、Excite和Yahoo。所有这些搜索引擎都提供在万维网中进行信息的搜索和检索的便利条件。然而，它们的速度和效率确实与万维网上提供的海量信息不般配，所以这些搜索引擎的搜索和检索效率有很大的改进空间。

搜索大量的正文文件一般能用几个查询类型(query type)完成。最普通的查询类型是对比(matching)和对比的变异(variants)。搜索系统通过指定必须在被查询信息中出现的一个关键字或关键字集合，检索满足这个要求的所有文件。基本搜索方法根据的是所谓的单关键字对比。检索关键字p，将含有该字的所有文件检索出来。也可能搜索关键字前缀p，将文件中任何关键字中出现这个前缀的所有文件检索出来。与关键字搜索不同的是，有时搜索根据的是所谓的精确短语对比，其中，搜索使用特定顺序的几个单关键字。正如本领域的熟练人员熟知的那样，在许多搜索系统中，关键字短语的精确对比可以用布尔运算符来执行，例如根据诸如AND、OR、NOT，它们能筛选信息，即，如果使用AND短语，则返回所有含有由AND运算符连接的两个关键字的所有文件。也用过NEAR运算符，以返回只有在文件正文中有关键字匹配并且位置互相“接近”的文件。在许多结构化数据库中，数据库中含有的文件已被注释过，即具有解释文件中某些部分或某些类型的信息的字段。这就允许只在文件的局部搜索匹配，在事先知道所查询信息的类型时是有用的。