[发明专利]一种基于大数据的日志审计系统

说明书

本发明公开了一种基于大数据的日志审计系统，涉及日志审计领域，该系统包括：端侧日志采集平台，用于采集并上传日志数据；文件传输协议服务器、消息队列集群，与端侧日志采集平台连接；数据处理模块，与文件传输协议服务器和消息队列集群连接，用于将文件传输协议数据文件和消息队列数据融合并写入分布式文件系统；分布式文件系统，用于加载贴源数据层表数据；稽核模块，用于对贴源数据层表数据进行稽核；审计模块，用于采用审计模型对稽核通过数据进行审计，确定稽核通过数据中的违规信息。本发明通过采集、传输、转换、分析挖掘全量的操作日志，解决了传统行为日志审计效率低下问题，提高了数据处理能力、数据分析的时效性和数据处理效率。

技术领域

本发明涉及日志审计领域，特别是涉及一种基于大数据的日志审计系统。

背景技术

目前进行日志审计的系统从展现或者模型上还存在不完整，或者不完善，或存在集中在某个领域内的现象，这个平台属于日志审计平台产品，通过此产品能够比较快速及时的审计出运维运营人员的操作是否存在违规操作，从而发现日常操作中的问题，从而对不符合规范的操作进行整改或者处罚。现有技术都是基于批处理或者流处理单一模式进行的，无法同时进行批流一体进行实时处理，因此，数据处理的实时性差，处理效率低。

发明内容

基于此，本发明实施例提供一种基于大数据的日志审计系统，以提高数据处理的实时性。

为实现上述目的，本发明提供了如下方案：

一种基于大数据的日志审计系统，包括：

端侧日志采集平台，用于采集并上传日志数据；所述日志数据，包括：系统日志、应用日志、主机日志和各业务系统数据；

文件传输协议服务器，与所述端侧日志采集平台连接，用于接收并存储所述日志数据，得到文件传输协议数据文件；

消息队列集群，与所述端侧日志采集平台连接，用于接收并存储所述日志数据，得到消息队列数据；

数据处理模块，与所述文件传输协议服务器和所述消息队列集群连接，用于采用数据同步工具对所述文件传输协议数据文件和所述消息队列数据进行数据补全、数据解析、数据标准化和数据清洗，得到清洗后日志数据，并将所述清洗后日志数据写入分布式文件系统；

分布式文件系统，与所述数据处理模块连接，用于采用修复表操作，将写入的清洗后日志数据加载为贴源数据层表数据；

稽核模块，与所述分布式文件系统连接，用于对所述贴源数据层表数据中的每个字段按照设定稽核标准进行稽核，得到稽核通过数据；

审计模块，与所述稽核模块连接，用于采用审计模型按照设定审计标准对所述稽核通过数据进行审计，确定所述稽核通过数据中的违规信息；

其中，所述设定审计标准，包括：数据是否为登录日志，数据的登录账号是否在白名单中，数据的源地址是否在堡垒机信息中和数据是否在数据资产中。

可选地，所述基于大数据的日志审计系统，还包括：

审计结果展示模块，用于基于微服务框架展示所述违规数据。

可选地，所述基于大数据的日志审计系统，还包括：

关系数据库，与所述审计模块连接，用于存储所述违规信息，并为所述审计结果展示模块提供所述违规信息。

可选地，所述基于大数据的日志审计系统，还包括：

接口平台，分别与所述关系数据库和所述审计结果展示模块连接，用于调用所述违规信息，以在所述审计结果展示模块中展示。

可选地，所述基于大数据的日志审计系统，还包括：

调度系统，用于将所述违规信息调度到所述关系数据库中。