[发明专利]海量数据信息索引系统和索引构建方法

说明书

技术领域

本发明涉及一种数据索引系统和构建方法，尤其是一种海量数据信息索引系统和索引构建方法。

背景技术

随着技术的进步和发展，数据量越来越大，尤其是云概念的出现，集中的数据量更加庞大。为了在浩如烟海的数据中快速找到需要的特定数据，索引有着重要的意义。

中国专利文献CN101576915B公开了一种分布式B+树索引系统及构建方法，具体，包括主服务器、事务服务器机群和索引服务机群和版本控制服务器；事务服务器机群包括多个事务服务器，索引服务器机群包括多个索引服务器；主服务器负责管理META数据，并对索引服务器机群进行负载平衡调度；事务服务器机群负责对分布式文件系统索引数据访问的事务控制；索引服务器机群负责管理和读写分布式文件系统的索引数据，有效地实现了并发环境下索引数据的事务功能。

上述专利文献中公开的索引技术只是将索引建立到一个或者多个索引库服务器中，建立索引和检索索引都在一个或者多个索引服务器中执行。建立索引任务和检索索引任务在一台或者多台的索引库中发生，可能会导致抢资源的问题，从而导致索引服务器资源不足，影响检索或者建立索引的效率。而且，检索的过程一旦出现问题，也无法判断实在检索的具体哪个环节出了问题，修复难度大。

发明内容

为此，本发明所要解决的是索引功能在一个或者多个索引服务器中执行带来的检索服务器资源不足和修复难度大的技术问题，提供一种海量数据信息索引系统和索引构建方法。

为解决上述技术问题，本发明采用的技术方案如下：

一种海量数据信息索引系统，包括，

数据分发服务器机群，包括多台数据分发服务器，用于将需要创建的数据拆分并分发；

创建数据索引服务器机群，包括多台创建数据索引服务器，各所述创建数据索引服务器分别接收所述数据分发服务器分发的数据并为所述数据创建索引；

检索服务器机群，包括多台检索服务器，接收所述创建数据索引服务器创建的所述索引并根据检索条件对数据索引进行检索；

合并检索结果服务器机群，包括多台合并检索结果服务器，接收检索条件，接收并合并所述检索服务器检出的结果。

每个所述检索服务器均包括一个备份区，用于备份该检索服务器检索出的数据。

还包括备份数据服务器机群，包括多台备份数据服务器，接收并备份所述数据分发服务器、所述创建数据索引服务器、所述检索服务器和所述合并检索结果服务器上的数据。

所述创建数据索引服务器创建的索引类型为倒排索引。

所述数据分发服务器存储有一个实现数据分发功能的分发文件，所述分发文件记录有所有创建数据索引服务器、检索服务器和合并检索结果服务器的位置和信息。

所述分发文件为XML文件。

同时，提供一种海量数据信息索引的构建方法，包括如下步骤：

①将检索用服务器按照功能划分为数据分发服务器、创建数据索引服务器、用于检索服务器和用于合并检索结果服务器，按照检索的功能的计算量配备完成每一个功能的服务器数量；

②将需要建立索引的数据以文件的形式放置在数据分发服务器上；

运行建立索引脚本，按照创建数据索引服务器的数量将文件拆分，并分发到各个创建数据索引服务器；

③创建数据索引服务器接收文件，并为该文件建立索引，并和之前建立过的索引进行合并，最后将新建的索引传输到检索服务器上；

④检索条件发送到合并检索结果服务器；

⑤检索结果服务器将检索条件发送到所有检索服务器上；

⑥检索服务器接收检索条件并对已建立的索引进行检索，将检索结果返回给合并检索结果服务器；

⑦合并检索结果服务器接收到所有检索结果数据后进行数据合并，并将合并后的检索结果返回给检索用户。

所述步骤中还包括备份各个步骤中产生的数据的步骤。

所述步骤③中创建的索引为倒排索引。

所述步骤①中通过在数据分发服务器上存储有一个记录数据分发服务器、创建数据索引服务器、检索服务器和合并检索结果服务器位置信息的分发文件，实现各服务器功能的划分。

分发文件为XML文件,执行过程中，XML文件通过解析，将各个功能的信息通过SSH技术分发到XML文件上指定的服务器上。

所述各步骤之间通过http协议实现传输。

本发明的上述技术方案相比现有技术具有以下优点：