[发明专利]全文索引方法及系统

说明书

本发明实施例提供一种全文索引方法及系统。其中，方法包括：获取查询关键字，对查询关键字进行分词，获取各查询词组及每一查询词组的哈希值；根据各查询词组的哈希值查询HBase集群中存储的词组‑哈希值对，获取全文索引结果。本发明实施例提供的全文索引方法及系统，通过查询关键字进行分词，获取各查询词组及每一查询词组的哈希值，根据各查询词组的哈希值查询HBase集群中存储的词组‑哈希值对，获取全文索引结果，能提高文本索引的效率，能提高全文搜索的查询性能。进一步地，利用HBase集群存储词组‑哈希值对，能根据性能要求水平扩展，能提高全文索引系统的可扩展性。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种全文索引方法及系统。

背景技术

近年来，随着智能手机以及社交网络的发展，移动互联网上的文本信息呈爆炸性增长。为了能从这些海量文本中分析出有效信息，往往需要将文本内容同结构化数据进行索引并保存到数据库中，用于提供更全面的全文检索服务。

全文索引方面，目前比较流行的的方案是采用Solr或者Elasticsearch。其中，Solr在数据索引过程中对查询会有一定的影响，用户体验极差；Elasticsearch对于机器内存的要求较高，无法自动切分索引，无法使用最小的资源索引大规模的数据。

因此，现有方法在硬件受限的情况下在海量文本中进行全文索引的效率较低。

发明内容

本发明实施例提供一种全文索引方法及系统，用以解决或者至少部分地解决现有技术存在的在硬件受限的情况下在海量文本中进行全文索引的效率较低的缺陷。

第一方面，本发明实施例提供一种全文索引方法，包括：

获取查询关键字，对所述查询关键字进行分词，获取各查询词组及每一所述查询词组的哈希值；

根据各所述查询词组的哈希值查询HBase集群中存储的词组-哈希值对，获取全文索引结果。

优选地，所述根据各所述查询词组的哈希值查询HBase集群中存储的词组-哈希值对，获取全文索引结果之前，还包括：

对于每一待入库文档，对所述待入库文档进行分词，获得各词组；

获取各所述词组的哈希值，将各所述词组和所述词组的哈希值组成的词组-哈希值对存储至所述HBase集群中。

优选地，所述根据所述各查询词组的哈希值查询HBase集群中存储的词组-哈希值对，获取全文索引结果的具体步骤包括：

根据每一所述查询词组的哈希值查询HBase集群中存储的词组-哈希值对，获取所述查询词组所在的文档；

根据各所述查询词组所在的文档，确定所述全文索引结果。

优选地，所述对于每一待入库文档，对所述待入库文档进行分词，获得各词组之前，还包括：

扫描文本文件目录，确定新增的各文档文件，生成新增文档列表；

遍历所述新增文档列表，获取所述新增的各文档文件，作为各所述待入库文档。

优选地，所述根据每一所述查询词组的哈希值查询HBase集群中存储的词组-哈希值对，获取所述查询词组所在的文档的具体步骤包括：

对于任一所述查询词组，根据所述查询词组的哈希值查询HBase集群中存储的词组-哈希值对，确定所述查询词组对应的词组-哈希值对，将所述查询词组对应的词组-哈希值对所在的文档，确定为所述查询词组所在的文档；

其中，所述查询词组对应的词组-哈希值对，为哈希值与所述查询词组的哈希值相同的词组-哈希值对。

第二方面，本发明实施例提供一种全文索引系统，包括：