[发明专利]一种全文检索系统的索引在线更新方法

说明书

技术领域

本发明属于智能信息处理技术，具体涉及的是一种全文检索系统的索引在线更新方法。

背景技术

随着计算机技术及网络技术的迅速发展，电子文档数目急剧增长。如何在这海量的信息里面快速、全面、准确地查找所需要的资料信息已经成为人们普遍关注的问题，也成了研究领域内的一个热门课题。大部分电子文档是用自然语言写成的非结构化的文本数据，全文检索技术是目前处理文本数据的重要手段。

全文检索有多种实现方式，包括倒排索引，后缀数组和签名文件等。

一般索引的对应关系是从“文档号”到“文档中所有的词”的对应。倒排索引把这种关系倒转过来，变成从“词”到“出现该词的所有文档号”，从而能快速地通过词检索到出现这些词的所有文档。实际应用中，倒排索引中通常还会包括词在文档中出现的次数以及具体位置等信息。为了方便检索，倒排表通常是有序的。

以下是倒排索引的举例：

设有两篇文章1和2：

文章1的内容为：Tom lives in Guangzhou，I live in Guangzhou too。

文章2的内容为：He once lived in Shanghai。

1)首先我们要取得这两篇文章的关键词，通常我们需要采取如下处理措施：

a.我们现在有的是文章内容，即一个字符串，我们先要找出字符串中的所有单词，即分词。英文单词由于用空格分隔，比较好处理。中文单词间是连在一起的需要特殊的分词处理。

b.文章中的”in”，“once”“too”等词没有什么实际意义，中文中的“的”“是”等字通常也无具体含义，这些不代表概念的词可以过滤掉。

c.用户通常希望查“He”时能把含“he”，“HE”的文章也找出来，所以所有单词需要统一大小写。

d.用户通常希望查“live”时能把含“lives”，“lived”的文章也找出来，所以需要把“lives”，“lived”还原成“live”。

e.文章中的标点符号通常不表示某种概念，也可以过滤掉。

经过上面处理后，文章1的所有关键词为：[tom][live][guangzhou][i][live][guangzhou]。

文章2的所有关键词为：[he][live][shanghai]。

2)有了关键词后，我们就可以建立倒排索引了。上面的对应关系是：“文章号”对“文章中所有关键词”。倒排索引把这个关系倒过来，变成：“关键词”对“拥有该关键词的所有文章号”。文章1，2经过倒排后变成：

关键词文章号

guangzhou 1

he 2

i 1

live 1，2

shanghai 2

tom 1

通常仅知道关键词在哪些文章中出现还不够，我们还需要知道关键词在文章中出现次数和出现的位置，通常有两种位置：a)字符位置，即记录该词是文章中第几个字符(优点是关键词亮显时定位快)；b)关键词位置，即记录该词是文章中第几个关键词(优点是节约索引空间、词组(phase)查询快)。

加上“出现频率”和“出现位置”信息后，我们的索引结构变为：

关键词文章号[出现频率]出现位置：

guangzhou 1[2]3，6

he 2[1]1

i 1[1]4

live 1[2]，2[1]2，5，2

shanghai 2[1]3

tom 1[1]1

以live这行为例我们说明一下该结构：live在文章1中出现了2次，文章2中出现了一次，它的出现位置为“2，5，2”这表示什么呢？我们需要结合文章号和出现频率来分析，文章1中出现了2次，那么“2，5”就表示live在文章1中出现的两个位置，文章2中出现了一次，剩下的“2”就表示live是文章2中第2个关键字。

后缀数组索引是由Manber和Myers在1993年提出的一个空间效率非常高的文本索引结构，这种结构记录了文本中各后缀的字典序索引，它把文本中的所有后缀按照词典序存放其在文本中起始位置的一个列表。

签名文档是指把文档中的关键词散列成F位的位串，顺序访问原文档的关键词，把散列所得的位串依次存入文件。

以下是其匹配思想：假设我们现在要判断字符串A和字符串B是否匹配，首先把A和B分别散列成数字hash(A)和hash(B)，如果hash(A)！＝hash(B)则A！＝B；然而hash(A)＝hash(B)不能说明A＝B。