[发明专利]日志的处理方法及装置

说明书

本发明公开了一种日志的处理方法及装置，处理方法用于处理一个任务的所有日志，对于所有日志中的一目标日志，处理方法包括：在内存中设置一内存区域，将目标日志的每一语句中的参数分离出来，将参数按一配置信息记录于与目标日志匹配的数据集合内，并将目标日志的编号记录于数据集合内，分离参数后的语句按信息生成为与数据集合对应的日志模板，记录日志模板的编号于数据集合内，将内存区域中的数据集合存储于存储磁盘内；生成日志模板的编号并记录于数据集合内，将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内。本申请的处理方法及装置能够有效节省记录日志时的服务器内存消耗，减少记录日志以及日志存储所需时间。

技术领域

本发明涉及一种日志的处理方法及装置。

背景技术

日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。日志包括系统日志、应用程序日志和安全日志等。

因为输出日志需要占用大量磁盘空间、消耗磁盘读写资源，影响系统性能，而且大量的日志也影响后续的阅读分析，所以不能不限制日志信息输出量。本领域的通行做法与公开号为CN101753344A的专利中记载类似，将日志内容以文本形式存储到缓存中，集中写入文件，占用缓存较多，严重影响系统的速度。

发明内容

本发明要解决的技术问题是为了克服现有技术中日志的写入、输出占用缓存空间较多，严重影响系统的运行速度的缺陷，提供一种节省记录日志时内存消耗，减少记录日志所需时间的日志的处理方法及装置。

本发明是通过下述技术方案来解决上述技术问题：一种日志的处理方法，其特点在于，所述处理方法用于处理一个任务的所有日志，对于所述所有日志中的一目标日志，所述处理方法包括：

在内存中设置一内存区域，在所述内存区域中将所述目标日志的每一语句中的参数分离出来，将所述参数按一配置信息记录于与所述目标日志匹配的数据集合内，并将所述目标日志的编号记录于所述数据集合内，分离参数后的语句按所述配置信息生成为与数据集合对应的日志模板，

在一用于存储日志的存储磁盘中存有所述日志模板的情况下，记录所述日志模板的编号于所述数据集合内，在所述所有日志全部处理完成后，将内存区域中的数据集合存储于存储磁盘内；

在一用于存储日志的存储磁盘中未存有所述日志模板的情况下，生成所述日志模板的编号并记录于所述数据集合内，在所述所有日志全部处理完成后，将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内；

其中，所述配置信息为所述参数与语句中分离位置的映射关系。

在数据处理系统中，一个需要执行的任务通常具有多个需要记录的日志，每个日志中包括多个语句(可以为描述型语句)，将每一语句中可变化的参数与固定不变的句式分别保存可以在存储空间上省略存储相同日志模板，达到节省存储空间的目的。进一步地，分离后的数据集合以及日志模板存储于磁盘空间中供输出时调用，节约内存(缓存)的空间，提高系统的使用性能。

较佳地，所述处理方法包括：

接收一输出目标日志的请求后，根据请求中的日志的编号获取数据集合；

将获取的数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。

根据日志的编号，系统可以获取请求的日志。一个日志中的数据集合与日志模板对应，数据集合中包括对应的日志模板的编号，根据所述编号系统可以获取与所述数据集合对应的日志模板，数据集合中的参数写入到日志模板中就能够还原出分离前的日志。

利用所述编号，如果磁盘中的日志模板已经存在，则系统不再需要将日志模板发送到存储磁盘中，只需要将数据集合发送到存储磁盘中，大大降低了传输的数据量。