[发明专利]一种基于HBase的更新增量索引的方法

摘要

本发明公开了一种基于HBase的更新增量索引的方法，包括以下步骤：通过待更新文档D的标识符，从HBase索引库中获取待更新文档D的历史内容C₀；解析历史内容C₀，获取其全部术语的前置表FT₀；解析待更新文档D的当前内容C₁，获取其全部术语的前置表FT₁；遍历前置表FT₁，对FT₁中每个术语t，结合FT₀进行判断，修改前置表FT₁和FT₀的内容，将需要删除的术语保留在前置表FT0中，将需要增加或更新的术语保留在FT1中；将FT₀中的所有术语t从HBase索引库中删除；将FT₁中的所有术语提交到HBase索引库进行更新；将待更新文档D的内容替换为C₁，完成待更新文档的索引更新。

主权项

一种基于HBase的更新增量索引的方法，其特征在于，包括下述步骤：（1）从HBase索引库中获取待更新文档D的历史内容C₀待更新文档D的历史内容在HBase索引库中已经存在，包括其内容文本与内容文本的索引，通过待更新文档D的标识符，从HBase索引库中读取其历史内容；（2）解析待更新文档D的历史内容C₀，获取C₀的前置表FT₀；（3）解析待更新文档D的当前内容C₁，获取C₁的前置表FT₁；（4）遍历C₁的前置表FT₁，对FT₁中每个术语t，结合FT₀进行判断，修改前置表FT₁和FT₀的内容，具体方法如下：判断FT₀中是否存在术语t，分别进行如下处理：a、如果不存在，则继续判断FT₁的下一个术语；b、如果存在，则判断该术语t的出现频率出现位置与FT₀中术语t的出现频率出现位置是否都相同，分别进行如下处理：i、如果都相同，则将该术语t以及t的出现频率出现位置从FT₀和FT₁中删除；ii、如果任一不相同，则将该术语t以及出现频率出现位置从FT₀中删除；（5）将FT₀中的所有术语t从HBase索引库中删除步骤（4）执行完毕后，FT₀中的全部术语都是待更新文档D的当前内容C₁中不再存在的术语，所以更新时应从HBase索引库中删除这些术语对应的索引信息，在HBase索引库中，以FT₀中的术语t作为主键，以待索引文档D的标识符作为列字段，在HBase索引库中进行查询，将对应位置的索引信息删除；（6）将FT₁中的所有术语提交到HBase索引库进行更新步骤（4）执行完毕后，FT₁中的全部术语都是待更新文档D的当前内容C₁对比历史内容C₀发生变化的术语，所以更新时应将这些术语的信息提交给HBase索引库，更新对应术语的索引信息，更新索引时，在HBase索引库中，以FT₁中的术语t作为主键，以待索引文档D作为列字段在HBase索引库中进行查询，将对应位置的索引信息替换为FT₁中术语t的出现频率与出现位置；（7）将待更新文档D的内容替换为C₁。