[发明专利]一种基于大数据技术的数据库审计方法

说明书

本发明涉及一种基于大数据技术的数据库审计方法，包括步骤：数据采集：采用消息队列技术对所有类型的数据库进行统一采集，在保证用户数据隐私性及完整性的前提下，进行海量数据库日志收集；数据预处理：对采集的海量数据库日志数据进行预处理；其中，预处理的方式至少包括归一化和数据清洗；数据分析：对预处理后的海量数据库日志数据按照时效性进行分类，分为周期性实时数据和定期离线数据；并按照数据类型进行统计计算，快速反馈统计结果；数据挖掘：根据对周期性实时数据和定期离线数据的统计结果及数据关联性，进行数据挖掘预测，完成数据库审计。通过本发明，能够解决海量数据场景下的数据库全面审计需求，为数据库审计提供强大的安全工具。

技术领域

本发明涉及数据审计技术领域，更具体地说，涉及一种基于大数据技术的数据库审计方法。

背景技术

数据库中存储着大多数现代机构依赖的信息，从商品交易到人力资源记录、核心机密、敏感数据都存储在数据库中。数据库的重要性和其拥有的价值对攻击者有很大的吸引力，因此其受到蓄意攻击的可能性增加，此时数据库亟需一个完备的审计系统。对数据库进行审计就是对用户在数据库中的操作情况进行监控和记录的一种数据库功能。审计功能启动后，可以审查用户的相关活动。例如：数据被非授权用户删除、用户越权操作、权限管理不正确、用户获得不应有的系统权限等。通常，试图超越自身安全权限的用户(或非授权用户)可以被检测出来，在造成损失之前就对他们采取措施；或者在数据被篡改之后，数据库管理员可以利用审计跟踪的信息，重现导致数据库被篡改的一系列事件，找出非法篡改数据的人、时间和内容等。

数据库是信息系统的核心和基础，其中存储着大多数机构赖以生存的重要信息，保护数据库安全的重要性越来越被人们关注。目前，传统的数据库审计设备可以实时记录网络上的数据库活动，并提供对审计日志的事件后分析功能和报表功能。但这是远远不够的，当数据库攻击事件发生后，我们应该知道系统是怎样遭到攻击的，怎样才能恢复数据，如何能使数据库在受到攻击时有所察觉，如何有效利用攻击者留下的证据等。数据库云审计就是在这样的需求下被提出的。随着大数据技术的快速发展，对于实现全面化的数据库云审计起到了积极的促进作用。大数据技术对数据库审计工作带来的影响包括数据采集、数据分析、数据检索、数据存储方式的转变，全面化的数据库审计模式的建立，审计成果和相关证据的二次应用等。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于大数据技术的数据库审计方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于大数据技术的数据库审计方法，包括步骤：

数据采集：采用消息队列技术对所有类型的数据库进行统一采集，在保证用户数据隐私性及完整性的前提下，进行海量数据库日志收集；

数据预处理：对采集的海量数据库日志数据进行预处理；其中，预处理的方式至少包括归一化和数据清洗；

数据分析：对预处理后的海量数据库日志数据按照时效性进行分类，分为周期性实时数据和定期离线数据；并按照数据类型进行统计计算，快速反馈统计结果；

数据挖掘：根据对周期性实时数据和定期离线数据的统计结果及数据关联性，进行数据挖掘预测，完成数据库审计。

在本发明所述的基于大数据技术的数据库审计方法中，数据采集采用的消息队列技术至少包括kafka消息队列技术和RabbitMQ消息队列技术。

在本发明所述的基于大数据技术的数据库审计方法中，在对海量数据库日志数据进行预处理时，基于大数据的云审计采用基于流式计算的技术架构。

在本发明所述的基于大数据技术的数据库审计方法中，基于流式计算的技术架构采用Spark数据处理框架。