[发明专利]一种在大数据量存储中快速检索的方法

说明书

技术领域

本发明涉及数据库审计技术领域，尤其涉及一种在大数据量存储中快速检索的方法。

背景技术

对数据库审计系统而言，审计并存储上亿条甚至几十亿条审计记录的情况非常普遍，在这种海量记录中能够方便地按各种特性组合进行快速检索，对数据库审计系统的事后审计功能而言至关重要。

数据库审计系统的事后审计，指的是通过某些已知特性进行反向回溯和定位，找出其他未知特性，从而完整地还原整个操作或事件。这类特性可以包括被访问的数据库名、被访问的表、被访问的字段、SQL操作类型、数据库登录用户名、客户端IP、服务端IP、时间范围以及SQL语句包含的内容。

在海量的审计记录中进行精确检索，通常的方法是对SQL语句进行语义分析并形成细粒度记录，然后借助关系型数据库，对各种检索特性及特性组合建立索引，再根据索引实现快速检索。由于审计记录特性众多，存储各种特性对应关系并为各种特性组合都建立索引，将耗费比审计记录本身大得多的存储空间，另外还将极大消耗存储性能，这对存储容量和存储性能要求极高的数据库审计系统而言是无法忍受的。

发明内容

本发明要解决的技术问题是，为数据库审计系统提供一种大数据量存储中快速检索的方法，该方法较SQL细粒度存储并为各种检索特性及特性组合建立索引的方法将极大节省存储空间，并将极大提升检索效率。

鉴于数据库审计系统的审计记录数量十分庞大的事实，就必然要求单条审计记录尽可能地节约存储空间，并且当存储中已经包含海量审计记录时，仍然能够以任意特性或特性组合为条件进行快速检索。而全文索引就是解决在海量存储中实现快速检索的关键技术。把全文索引引入数据库审计系统中，将极大节省存储空间和性能，极大提升检索能力。

为解决问题，本发明的解决方案是：

提供一种在大数据量存储中快速检索的方法，包括如下步骤：

A、采用关系型数据库存储审计记录，每条记录拥有唯一ID，并以惯常使用的检索特性为字段；

B、协议解析模块获取审计记录后，对该审计记录进行入库，而不对该审计记录对应的SQL语句进行语义分析所产生的细粒度信息进行入库；

C、使用独立的全文索引引擎监控审计记录入库情况，对新入库的审计记录建立全文索引，并逐级建立和维护当前索引、单位小时索引、单位天索引；

D、检索时，以检索特性为关键字使用全文索引进行检索，获取符合特性的审计记录的主ID集，再通过主ID集获取符合检索特性的所有审计记录的完整信息。

本发明中，所述的步骤B进一步包括如下：

B1、通过网络采集模块和协议解析模块获取审计记录；

B2、获取的审计记录被存入入库文件，当该入库文件包含的审计记录数达到某一设定门限、或该入库文件存在周期超过某一设定时间门限时，将把该入库文件移动到可入库目录，并打开新的入库文件用以记录新的审计记录；

B3、移动入库文件到可入库目录后，登记该入库文件所包含的审计记录ID范围及入库文件名的对应关系；

B4、使用关系型数据库数据导入工具Mysqlimport对入库文件进行入库，入库后删除入库文件。

本发明中，执行所述步骤C时，进一步包括：

C4、监控步骤B3中的登记信息；

C5、如果步骤C4中发现有新入库文件产生，则检查该入库文件是否存在；

C6、如果步骤C5中新入库文件已被删除，根据步骤B4，说明该入库文件已经入库完成，该入库文件所对应登记信息中ID范围内的审计记录需要建立全文索引；

C7、在当前索引文件中，为步骤C6中需要建立全文索引的审计记录建立全文索引，并删除步骤B3中对应的登记信息；

C8、把当前索引文件合并到当前小时索引文件中，并初始化当前索引文件。

本发明中，所述的步骤C7进一步包括如下：

C71、步骤C6中需要建立全文索引的ID范围所对应的审计记录，是本次全文索引的数据源；

C72、审计记录中可以被用来做检索条件的字段，都将被建立全文索引，可根据这些字段来检索获取审计记录ID；

C73、对于除SQL语句外的其他检索特性，在获取数据源数据时为每一个字段内容加上特殊的前后缀，以极大减少该内容作为一个单词出现在其他字段内容中的概率，确保全文检索准确性；

C74、根据步骤C73的规则，以步骤C6中ID范围的审计记录为数据源，在当前索引中建立全文索引；

C75、删除步骤B3中对应的登记信息。

本发明中，所述的步骤D进一步包括如下：