[发明专利]一种高性能服务器海量日志增量收集方法及装置

说明书

本发明公开一种高性能服务器海量日志增量收集方法及装置，高性能服务器接收到收集日志指令后，根据不同日志类型对日志进行收集；将收集的日志进行保存并存放到网络文件系统共享目录上；日志服务器或上层应用服务器访问网络文件系统共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中。本发明通过对带内系统日志分类及检测，记录收集信息，对各类日志进行增量获取，从而减少日志服务器或上层应用服务器的冗余过滤压力，且采用共享存储，降低网络流量及日志服务器或上层服务器资源开销。

技术领域

本发明涉及日志收集领域，具体涉及一种高性能服务器海量日志增量收集方法及装置。

背景技术

高性能服务器的系统日志及应用程序日志记录了系统硬件及软件相关运行信息，日志数据的收集获取能够帮助开发者了解系统运行状态，以便对系统及应用异常信息及时作出应对。

现有技术中，对增量日志的收集方法多数是基于数据库下的日志分析器实现，对日志的分类及日志数据冗余处理多数依靠日志服务器或上层应用服务器分析处理完成，这样会增加日志服务器或上层应用服务器的压力。

发明内容

为解决上述问题，本发明提供一种高性能服务器海量日志增量收集方法及装置，以减少日志服务器或上层应用服务器的冗余过滤压力。

本发明的技术方案为：一种高性能服务器海量日志增量收集方法，包括以下步骤：

高性能服务器接收到收集日志指令后，根据不同日志类型对日志进行收集；

将收集的日志进行保存并存放到网络文件系统共享目录上；

日志服务器或上层应用服务器访问网络文件系统共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中。

进一步地，根据不同日志类型对日志进行收集包括对系统日志的收集、对工具固定日志的收集和对工具历史记录日志的收集。

进一步地，对系统日志的收集包括以下步骤：

获取当前文件索引信息；

若当前文件索引信息与已保存的索引信息不一致时，提取日志全部信息，更新索引信息和偏移量；

若当前文件索引信息与已保存的索引信息一致时，获取当前文件偏移量；

若当前文件偏移量小于已保存的偏移量，则提取日志全部信息，更新偏移量；

若当前文件偏移量大于已保存的偏移量，则提取上次偏移量到本次偏移量的数据。

进一步地，对工具固定日志的收集具体为：调用对应工具命令获取工具固定日志。

进一步地，对工具历史记录日志的收集包括以下步骤：

调用对应工具命令生成全量日志信息到临时目录；

根据日志结尾信息，倒序读取临时目录的日志，直至与已保存的日志结尾信息完全匹配，提取匹配之后的日志信息，并更新保存的日志结尾信息。

本发明的技术方案还包括一种高性能服务器海量日志增量收集装置，包括，

日志收集模块：高性能服务器接收到收集日志指令后，根据不同日志类型对日志进行收集；

日志存储模块：将收集的日志进行保存并存放到网络文件系统共享目录上；

日志分析合并模块：日志服务器或上层应用服务器访问网络文件系统共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中。

进一步地，日志收集模块包括，

第一日志收集单元：对系统日志收集；