[发明专利]一种基于大数据的云平台日志管理系统

说明书

本发明属于大数据技术领域，公开了一种基于大数据的云平台日志管理系统，包括：日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘；日志预处理模块：用于通过审计策略进行日志事件的过滤和同类事件进行归并处理，并分别发送至实时检测模块和数据库系统；数据库系统：用于存储日志预处理模块发送的日志事件；实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示。本发明可以提高运维人员在运维管理过程中的工作效率及安全态势的感知能力。

技术领域

本发明属于大数据技术领域，具体涉及一种基于大数据的云平台日志管理系统。

背景技术

随着信息技术的不断发展，用户对新业务的需求以及对服务质量的要求也不断提升。由此带来了一项新的挑战，即新环境产生大量的以前不曾有过的日志，并带来相关的问题，如：日志文件分散存放，数量多，可直接查阅的日志文件保存周期短，极不便于运维；日志格式不一致，可阅读性过低；查询耗时费力，效率低下；相关日志的关联性低，无法清晰定位；大量的日志无法统计，无法准确的分析业务；而且由于相关法规、政策或商业上的要求，必须保留并能够查询、分析处理这些日志数据。

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果管理数十上百台服务器，使用依次登录每台机器的传统方法查阅日志，是很繁琐和效率低下的。当务之急是使用集中化的日志管理，将所有服务器上的日志收集汇总。但是集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，现有技术中一般使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

基于关系型的传统数据库无法满足新形势下的要求，需要建立一种基于大数据的云平台日志管理系统，以提高日志管理效率。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于大数据的云平台日志管理系统。

为了解决上述技术问题，本发明采用的技术方案为：一种基于大数据的云平台日志管理系统，包括：

日志采集模块：用于通过分布式多任务方法对日志实践进行分析挖掘，所述日志时间包括安全日志、应用日志、系统日志和业务行为日志；

日志预处理模块：用于通过审计策略进行日志事件的过滤，然后对日志事件中的同类事件进行归并处理，避免产生事件风暴，最后将处理后的日志事件分别发送至实时检测模块和数据库系统；

数据库系统：用于存储日志预处理模块发送的日志事件；

实时检测模块：用于对处理后的日志事件进行审计，并根据响应策略对审计结果进行响应；

日志分析模块：用于对数据库系统中的历史数据进行分析，并根据用户设置通过图表对分析结果进行显示，所述分析结果包括日志事件的归类统计及日志事件的发展变化趋势。

所述日志采集模块中，将物理设备和虚拟设备分别作为一个数据接点，利用Flume日志收集系统和Scribe分布式日志收集系统进行日志事件的采集。

所述数据库系统采用分布式文件系统存储方式和对象存储方式对日志事件进行存储。

所述日志分析模块进行历史数据分析的方法为：将存储的数据利用HDFS分布式系统发送到各个网络节点，各个节点组成一个集群，然后将数据的处理过程按照Map Reduce框架转化为Map阶段和Reduce阶段进行处理，然后利用Map Reduce将预处理后的数据集采用机器学习的方法进行数据分析，挖掘出数据背后的价值建立预测模型。