[发明专利]一种基于大数据的云平台日志管理系统

权利要求书

1.一种基于大数据的云平台日志管理系统，其特征在于，包括：

日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；

日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；

数据库系统：用于存储日志预处理模块发送的日志事件；

实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；

日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋势。

2.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。

3.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述数据库系统采用分布式文件系统存储方式和对象存储方式对日志事件进行存储。

4.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志分析模块进行历史数据分析的方法为：将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map阶段和Reduce阶段进行处理，然后利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析，挖掘出数据背后的价值建立预测模型。

5.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志分析模块具体用于：根据已采集的历史告警信息和历史产生事件信息，生成关联历史同类告警的解决方案清单视图；通过采集的攻击日志数据，生成告警所在各安全设备近期告警攻击行为的趋势视图；通过采集应用日志和系统日志，生成告警时间附件的异常日志视图；最后通过结合采集的配置信息和告警信息，申城关联应用告警情况的关联告警视图。

6.根据权利要求1所述的一种基于大数据的云平台日志管理系统，其特征在于，所述日志分析模块包括：

异常情报与威胁情报分析模块：用于通过对知识采集、处理和分析最终输出威胁情报；还用于基于外部开源的和第三方情报数据，增强威胁情报的准确度和时效性；以及用于利用大数据分析平台将本地历史数据、网络资产数据与情报数据按照多个维度进行关联分析，可快速感知威胁，通过平台安全规则的筛选和过滤最终形成漏斗效应，保证威胁告警的更加的精准和有效；

漏洞管理全生命周期管理模块：用于提供内网环境的资产感知和稽查功能，通过扫描指定的 IP 地址范围，嗅探新增设备以及启动服务，还用于通过单一通用端口探测并转向多协议探测，发现更多网络服务类型和相关数据，经过周期性对比和核实，构建资产安全脆弱性分析系统，实现根据异构网络资产元数据和服务数据的图谱构建和自动化分析，并提供可视化呈现和安全评估报告；

态势感知分析模块：用于通过对入侵、异常流量、僵木、蠕虫、系统安全、网站安全态势进行多维度日志采集和分析，形成多类型的安全态势分析图。