[发明专利]一种在大数据量存储中快速检索的方法

权利要求书

1.一种在大数据量存储中快速检索的方法，其特征在于，包括如下步骤：

A、采用关系型数据库存储审计记录，每条记录拥有唯一ID，并以惯常使用的检索特性为字段；

B、协议解析模块获取审计记录后，对该审计记录进行入库，而不对该审计记录对应的SQL语句进行语义分析所产生的细粒度信息进行入库；

C、使用独立的全文索引引擎监控审计记录入库情况，对新入库的审计记录建立全文索引，并逐级建立和维护当前索引、单位小时索引、单位天索引；

D、检索时，以检索特性为关键字使用全文索引进行检索，获取符合特性的审计记录的主ID集，再通过主ID集获取符合检索特性的所有审计记录的完整信息。

2.根据权利要求1所述的一种在大数据量存储中快速检索的方法，其特征在于，所述的步骤B进一步包括如下：

B1、通过网络采集模块和协议解析模块获取审计记录；

B2、获取的审计记录被存入入库文件，当该入库文件包含的审计记录数达到某一设定门限、或该入库文件存在周期超过某一设定时间门限时，将把该入库文件移动到可入库目录，并打开新的入库文件用以记录新的审计记录；

B3、移动入库文件到可入库目录后，登记该入库文件所包含的审计记录ID范围及入库文件名的对应关系；

B4、使用关系型数据库数据导入工具Mysqlimport对入库文件进行入库，入库后删除入库文件。

3.根据权利要求2所述的一种在大数据量存储中快速检索的方法，其特征在于，执行所述步骤C时，进一步包括：

C4、监控步骤B3中的登记信息；

C5、如果步骤C4中发现有新入库文件产生，则检查该入库文件是否存在；

C6、如果步骤C5中新入库文件已被删除，根据步骤B4，说明该入库文件已经入库完成，该入库文件所对应登记信息中ID范围内的审计记录需要建立全文索引；

C7、在当前索引文件中，为步骤C6中需要建立全文索引的审计记录建立全文索引，并删除步骤B3中对应的登记信息；

C8、把当前索引文件合并到当前小时索引文件中，并初始化当前索引文件。

4.根据权利要求3所述的一种在大数据量存储中快速检索的方法，其特征在于，所述的步骤C7进一步包括如下：

C71、步骤C6中需要建立全文索引的ID范围所对应的审计记录，是本次全文索引的数据源；

C72、审计记录中可以被用来做检索条件的字段，都将被建立全文索引，可根据这些字段来检索获取审计记录ID；

C73、对于除SQL语句外的其他检索特性，在获取数据源数据时为每一个字段内容加上特殊的前后缀，以极大减少该内容作为一个单词出现在其他字段内容中的概率，确保全文检索准确性；

C74、根据步骤C73的规则，以步骤C6中ID范围的审计记录为数据源，在当前索引中建立全文索引；

C75、删除步骤B3中对应的登记信息。

5.根据权利要求4所述的一种在大数据量存储中快速检索的方法，其特征在于，所述的步骤D进一步包括如下：

D1、为用户输入的每个检索特性内容附加上步骤C73所述与该特性一致的特殊的前后缀，形成检索关键词；

D2、以步骤D1中的检索关键词为搜索条件，在当前小时索引文件、当前天索引文件以及根据搜索的时间段范围决定的包含日期的天索引文件中进行检索，获取审计记录ID；

D3、根据审计记录ID，在关系型数据库中获取符合条件的审计记录的完整信息。

6.根据权利要求1所述的一种在大数据量存储中快速检索的方法，其特征在于，步骤A中所述的检索特性是在对数据进行检索时惯常使用的数据特征值，是下述内容中的至少一种：登录用户名、客户端IP、服务端IP、访问时间、SQL语句、被访问的数据库名、被访问的表、被访问的字段或SQL操作类型。

7.根据权利要求1所述的一种在大数据量存储中快速检索的方法，其特征在于，所述的步骤C中，还进一步包括：

C1、将全文索引文件分成当前索引文件、当前小时索引文件、当天索引文件、包含日期的天索引文件；

C2、根据时间判断是否需要把当前小时文件合并到当天索引中，如果离上一次该类合并动作超过一小时，则进行合并，并初始化当前小时索引文件；

C3、根据时间判断是否需要把当天索引文件演变为日期天索引文件，如果离上一次合并动作的日期发生变更，则把当天索引文件变更为包含日期的天索引文件，并初始化当天索引文件。