[发明专利]一种云计算环境下应用系统日志监控管理的方法

说明书

技术领域

本发明涉及一种云计算环境下应用系统日志监控管理的方法。

背景技术

随着实际生产环境部署的应用系统逐渐增多，面对越来越多的业务系统，服务器数量从初期的几台服务器发展到庞大的数据中心，当系统出现问题时，需要各方面排查日志发现问题，因此将所有服务器、网络设备日志集中收集存储，便于更加快捷地分析和排错，也为以后的风险预警搭建基础信息环境。

操作系统、应用服务和业务逻辑，都在不停的产生日志数据，最初日志数据基本都存在单机磁盘上，只用来做临时的事后分析和审计；有了Hadoop以后，大家渐渐习惯收集日志到HDFS中，然后每天运行MapReduce任务做统计报表。但是面对诸如“新上线的版本过去几分钟在各地反馈如何”，“昨天23:40左右这个投诉用户有没有异常”这种即时的开放性问题，传统的日志处理方案显得非常的笨拙和低效，因为解答没有唯一套路，答案需要尝试下钻挖掘才能得出。复杂多变的实时数据分析需求，需要的是灵活快捷的响应处理。如何将灵活性和大数据结合，正是本发明研究的重点。

发明内容

针对上述问题，本发明提供一种云计算环境下应用系统日志监控管理的方法，在电力系统发生问题时，能将日志在第一时间进行记录，并且方便各系统运维人员在统一的平台上进行查询日志，为系统运维人员提供重要信息，定位故障问题，便于他们迅速采取措施，保证电网信息系统的安全运行。

名词解释：

1、agent：代表一个应用程序处理查询并返回结果的软件。

2、Keepalived：Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

3、Redis：Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

4、SHIPPER：日志处理工具。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种云计算环境下应用系统日志监控管理的方法，其特征在于，包括如下步骤：

步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置，日志采集AGENT实时对每个日志进行扫描直到发现增量；

步骤2、日志采集AGENT将获得的日志数据发送至Redis，若干个Redis部署成集群且采取keepalived方式进行协同工作；

步骤3、Redis将数据发送至日志处理工具SHIPPER进行处理；

步骤4、采取分布式存储方式对处理后的日志数据进行存储；

步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。

优选，步骤1中，对日志进行级别划分，日志采集AGENT根据配置把某一级别以上的日志筛选出来并进行发送。

优选，日志按照级别由低到高分别为：INFO,WARNING,DEBUG,ERROR。

优选，配置多个日志处理工具SHIPPER。

本发明的有益效果是：

使用本发明方法可建立信息系统运行状态联动监测和提前预判模型，通过对已有日志数据的分析和建模，动态传输和分析日志数据，及时或预见性地发现信息系统运行中的小概率事件，进而实现对信息系统运行缺陷和信息安全事件的及时预警。当电力系统服务器及应用发生故障时，能够及时记录日志，方便运维人员后续排查，避免应用系统故障造成系统崩溃给电网造成重大损失。

附图说明

图1是本发明一种云计算环境下应用系统日志监控管理的方法的示意图。

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

日志记录了信息系统中发生的各种主要事件，也蕴含了系统的性能状态、安全状况等信息，进行日志分析是信息系统运检工作的基础内容。但是，由于日志记录具有滞后性的特点，传统的日志分析方法主要应用于事后的审计跟踪。