[发明专利]日志处理方法及系统

说明书

技术领域

本发明涉及日志处理技术，特别涉及一种基于动态脚本语言的日志处理方法及装置。

背景技术

在现有的网络业务中，日志是一个必不可少的部分，通过对业务日志的分析处理，可以了解到业务的经营状况，同时在服务器出现问题的时候，也可以通过对日志进行分析找出问题所在，方便问题的解决。当前，日志文件都是以原始的格式存放于文件装置或者数据库装置，在对业务运营数据进行分析和统计的时候，需要对原始格式的日志数据文件进行分析处理，以得到想要的统计结果。

日志文件是由安全管理中心装置从各种对象设备（例如主机、防火墙、数据库、服务器等）收集而来的，由于各种设备产生的日志格式都不一样，如何统一处理这些不同格式的日志成为一个重要的问题。现有技术中针对每种类型的对象设备，都对应编写特定的格式化工具去将日志里的内容提取出来，并填写到一个统一的格式的范本里去，最终生成统一格式的日志。

现有技术中的日志处理方法存在缺点，由于针对每一种对象设备的日志格式，都需要编写一种对应的代码来处理，当增加新的对象设备或者对象设备更改了日志格式时，将需要增加和修改对应的格式化器才能做到正确的采集和格式化日志，即在安全管理中心装置中需要对应的修改代码，重新发布，这样会造成装置维护量大，造成装置升级频繁，而且每次更改代码都需要重新编译装置。

发明内容

有鉴于此，有必要提供一种日志处理方法及系统，其可以高效的将来自不同业务的具有不同格式的日志格式化处理成特定的格式进行输出。

一种日志处理方法，包括：建立一个脚本语言解释器，在该脚本语言解释器中直接封装日志格式化处理用函数；针对不同格式的脚本分别建立相应的日志处理脚本从而构成动态脚本库，在该日志处理脚本中各种格式化操作由上述的函数完成；载入具有一定格式的日志；根据所述日志的格式从动态脚本库中载入相应的日志处理脚本；由所述的脚本语言解释器解释执行载入的日志处理脚本，完成日志格式化操作并输出处理结果。

一种日志处理系统，包括：动态脚本库，用于存储针对不同格式的脚本分别建立的日志处理脚本，在该日志处理脚本中各种格式化操作由函数完成；以及脚本语言解释器，包括：日志载入单元，用于载入具有一定格式的日志；脚本载入单元，用于根据所述日志的格式从动态脚本库中载入相应的日志处理脚本，该日志处理脚本中的格式化操作由函数实现；脚本解释单元，用于将载入的日志处理脚本中的函数解释成相应的执行指令；以及逻辑执行单元，用于执行所述的执行指令。

在上述的日志处理方法及系统中：通过将函数直接封装在脚本语言解释器的内部，从而可以实现以非常简洁的方式完成不同格式的日志处理脚本的建立，提升了在新业务的日志导入时进行格式化的效率。

附图说明

图1是第一实施例提供的一种日志处理方法的流程图。

图2是第一实施例中要进行格式化的日志的示意图。

图3是第一实施例中要进行格式化的日志格式化后的示意图。

图4是第二实施例提供的一种日志处理系统的结构框图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的日志处理方法及系统的具体实施方式、结构、特征及其功效，详细说明如后。

本发明实施例提供一种日志处理方法，其可以高效的将来自不同业务的具有不同格式的日志格式化处理成特定的格式进行输出。不同的格式例如是指日志中包括的字段、排序、使用的格式化字符等等的不同。

在上述的日志处理方法中，首先构建一种新的脚本解释语言及其脚本解释器，由脚本解释器解释符合该脚本解释语言的脚本以完成日志的格式化处理。另一方面，针对来自不同业务的具有不同格式的日志，分别构建相应的日志处理脚本从形成动态脚本库。当有新业务的日志需要导入时，根据该脚本解释语言重新构建符合新导入业务的日志处理脚本即可。当有现有业务无须再进行日志处理时，从该动态脚本库去除相应的脚本即可。

上述的脚本解释语言关键特征如下：

1、分段式的语法结构

脚本分三个区块构成：初始化区块（begin）、循环区块（do）、及结束区块（end）。其中begin区块放置初始化逻辑，其代码在日志处理前只执行一遍，do区块放置对日志进行清洗、格式化的逻辑，在处理每一日志条目（一般对应于日志正文的一行）时代码均执行一遍，end区码块放置结束逻辑，代码在日志处理结束后执行一遍。上述的三个区块的结构如下所示：