[发明专利]一种日志信息管理方法及日志抽取服务器

说明书

本发明提供一种日志信息管理方法及日志抽取服务器，上述方法包括以下步骤：通过以下方案：日志抽取服务器从不同日志源中分别抽取对应类型的日志；所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储；避免了日志记录重复，实现了对增量日志存储。

技术领域

本发明属于日志信息管理领域，尤其涉及一种日志信息管理方法及日志抽取服务器。

背景技术

随着互联网技术的高速发展和硬件技术的飞速提升，越来越多公司、部门、组织购买大批硬件，并在此基础上构建符合本公司、部门、组织的各类信息化系统；得益于大数据技术的普及，越来越多的互联网公司、公安、电信、水利、交通、医疗部门都开始搭建自己私有云平台，并在此平台上运行各类公共服务；相比之下某些在财力、物力相对紧缺的公司比较倾向于使用阿里云等公有云平台。上述提及的各类信息化系统和云平台的搭建必然用到众多的硬件，如：服务器、交换机、路由器、存储器等；并且上述设备都存在潜在的运行故障，因此，做好对这些设备和信息系统的监控是亟需解决的技术问题。

现有技术中对服务器的监控依赖于网管使用ipmitool命令查看网络设备日志即BMC日志来进行排查；对存储器的监控依赖于专业人员采用snmp协议从存储器获取日志数据进行排查；对网络设备(例如：路由器、交换机)的监控依赖于网络管理员使用网络管理命令查看日志进行逐一排查；对信息系统的监控则使用log4j等日志工具，查询日志进行排查。

但是，上述做法需要依赖大量的专业技术人员，增加了成本并且效率低下；因此，迫切需要一种成熟、轻便、高效、统一的集中式日志处理平台。

现有技术提供了一种集中式日志处理平台Logstash，Logstash是ELK公司开发，其中ELK为ElasticSearch、Logstash、Kibana的首字母缩写，Logstash作为统一日志处理平台最为重要的一部分，主要负责各类日志数据的抽取工作，Logstash把抽取的日志发送到ElasticSearch做索引，Kibana提供了一套友好的web界面供用户检索、分析ElasticSearch中的日志记录。

如图1所示，Logstash抽取日志的工作流程如下：

步骤一、Input插件从不同日志源中分别抽取对应类型的日志；其中，所述日志源包括存储器、服务器、网络设备(例如：路由器、交换机)；所述Input插件支持多种类型日志，例如：文件类型日志即file日志、操作系统类型日志即syslog日志、网络设备日志即BMC日志；

步骤二、Input插件将抽取的日志发送至Filter插件并由所述Filter插件进行过滤后，发送至Output插件并由所述Output插件进行输出。

但是Input插件从日志源中抽取的日志(例如：BMC日志)都是全量日志，这样就会造成索引库中日志记录重复。

发明内容

本发明提供一种日志信息管理方法及日志抽取服务器，以解决上述问题。

本发明提供一种日志信息管理方法。上述方法包括以下步骤：

日志抽取服务器从不同日志源中分别抽取对应类型的日志；

所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。

本发明还提供一种日志抽取服务器，包括日志抽取模块、增量日志获取模块；其中，所述日志抽取模块与所述增量日志获取模块相连；

所述日志抽取模块，用于从不同日志源中分别抽取对应类型的日志并将所述日志发送至所述增量日志获取模块；

所述增量日志获取模块，用于将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。