[发明专利]一种通过提取SQL模板对海量SQL压缩存储的方法

说明书

技术领域

本发明涉及数据库审计系统的信息存储技术领域。具体涉及海量SQL数据的压缩存储，特别是一种快速存储、节省数据库审计内容存储量的方法。

技术背景

随着运营商用户规模不断扩大、企业业务平台的不断扩容、电子商务平台和云平台的兴起，其业务数据库每秒产生的查询、更新等操作数量也越来越大，这对数据库审计系统的存储容量要求也越来越高，如何快速、节省地保存海量数据也愈发紧迫。

数据库审计系统的存储内容主要是SQL请求及其相关信息，对应不同的业务系统，每条SQL的长度从几个字节到几十K不等，审计记录一般存储在审计系统的数据库或文件系统中，每条审计记录都包含一条详细的SQL语句。对于需要在线查询的审计数据，出于在海量数据中查询性能的考虑，一般不采用压缩方式存储，这样就需要大量的磁盘空间来保存数据，对于离线方式保存的数据则一般采用对归档表进行压缩，对庞大的磁盘存储压缩归档意味着大量的CPU、IO资源及时间开销。

另一方面，巨量的审计数据对还原历史数据进行追溯也非常不方便，每天几GB甚至上百GB的数据量，要解压缩并恢复到对应的审计设备上进行查询，也非常耗时，而更大的磁盘存储总是意味着更大的时间开销。

综上所述，针对信息时代数据库SQL审计信息呈指数化增长的现状，数据库审计系统如何找到一种更加快速、高效、节约磁盘空间的存储方法变得非常迫切。

发明内容

本发明要解决的技术问题是，针对传统的数据库审计系统中海量SQL的审计导致的存储空间过大、利用率不高的问题，提供一种通过提取SQL模板对海量SQL压缩存储的方法。

为解决该技术问题，本发明的解决方案是：

提供一种通过提取SQL模板对海量SQL压缩存储的方法，包括步骤：

(1)数据库审计系统审计到一条SQL时，对SQL中包括的参数常量进行识别，取出这些信息并以带固定前辍且顺序数字编号的内容替换，形成不带具体参数只带变量的SQL行为模板的字符串；

(2)替换完成后的内容，我们称之为SQL行为模板，它代表某种业务行为，具备模型的特性，随后将得到的SQL行为模板通过HASH算法生成长整形表示的唯一识别码，并在审计系统中维持一份SQL行为模板和唯一识别码的对应关系；

(3)在实际存储该SQL审计记录时，把唯一识别码、替换出来的参数常量、SQL行为模板本身、及其他相关信息存入数据库审计系统的数据库；其中，一个SQL行为模板只保存一份，而该SQL审计记录中的SQL信息将以唯一识别码和参数常量代替，从而节省磁盘存储。

本发明中，所述SQL中包含的参数常量是数字、字符串或日期。

本发明中，还包括基于SQL行为模板生成的唯一识别码，根据预置的规则对同一行为的SQL进行过滤，从而剔除客户不关心的或属于白名单性质的SQL。

本发明中，还包括针对替换出来的动态参数中包含的敏感信息进行专项加密处理，以防止敏感信息在被审计出来后被二次泄露。

本发明中，所述动态参数中包含的敏感信息是：密码、手机号或身份证号码。

本发明是对数据库审计系统审计出来的SQL中包含的数字、字符串、日期等参数常量进行快速替换，取而代之的是带固定前辍且顺序数字编号的变量，这样处理形成的字符串就是不带具体参数只带变量的SQL行为模板，该SQL行为模板再通过HASH算法生成长整形表示的唯一识别码，并在审计系统中维持一份SQL行为模板和唯一识别码的对应关系，而该SQL审计记录在实际存储时只保存对应的SQL唯一识别码及替换出来的参数常量，由于长整形表示的唯一识别码总是比SQL行为模板要短得多，所以将极大节省存储空间并提升入库性能，从而实现快速存储和节省磁盘存储的目的。

本发明适用于审计各种数据库类型及各种数据库版本，还可以基于SQL行为模板，对业务系统的业务分析、SQL优化、恶意行为分析提供极有效的帮助。

本发明的有益效果在于：

本发明通过替换SQL中的参数常量形成公共的SQL行为模板，通过提取传统数据库审计系统中的冗余部分，极大地节约了该冗余部分的存储开销，同时又对每个审计记录中的SQL提取了各自的参数常量并进行了存储，所以对审计内容的完整性不产生任何不良影响，从而实现了不损害审计记录完整性前提下快速存储和节省地磁盘存储的目的。

附图说明

图1是一种通过提取SQL模板对海量SQL压缩存储的工作原理图。

图2是SQL模板唯一识别码生成工作流程图。

图3是SQL模板等信息存储工作流程图。

具体实施方式