[发明专利]日志处理方法和日志处理装置

说明书

本公开提供了一种日志处理方法及日志处理装置。所述日志处理方法包括：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间；在所述用户空间接收所述第一参数的参数值；以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。

技术领域

本公开涉及一种日志处理方法和日志处理装置。

背景技术

目前基于日志文件的信息采集系统(如：Filebeat等)在获取日志时，必须等待新增的日志内容写入磁盘后，才能从磁盘文件中读取到该内容。可见，现有技术中从日志内容的产生到日志内容被读取的过程包括了一次磁盘“写操作”和一次磁盘“读操作”。该一次磁盘“写操作”和一次磁盘“读操作”带来的时间延迟，导致日志的采集往往不能满足对文件内容监控的实时性要求较高的场景(例如，日志的实时监控、基于日志的故障报警、或文件内容的实时同步等)的需求。

发明内容

本公开的一个方面提供了一种可以实时采集日志新增内容的日志处理方法。该日志处理方法包括：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间；在所述用户空间接收所述第一参数的参数值；以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。

可选地，在所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用之前，还包括在所述用户空间中获取所述监控文件的存储路径信息；将所述监控文件的存储路径信息发送给所述内核空间；以及在所述内核空间中将所述监控文件的存储路径信息转换为所述监控文件在所述内核空间中的寻址信息，所述寻址信息用于指示所述操作系统在所述内核空间中定位所述监控文件。

可选地，所述方法还包括：确定所述监控文件的存储路径信息的更新机制；基于所述更新机制在所述用户空间中实时更新所述监控文件的存储路径信息；将更新的所述监控文件的存储路径信息发送给所述内核空间；以及在所述内核空间中基于更新的所述监控文件的存储路径信息实时更新所述寻址信息。

可选地，所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用，包括监控在所述内核空间中所述操作系统对所述监控文件执行打开操作的第二系统调用，在监控到所述第二系统调用时获取运行所述监控文件的进程信息以及所述监控文件的文件描述符，以及基于所述进程信息与所述文件描述符监控所述第一系统调用。

可选地，所述监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用，还包括监控在所述内核空间中所述操作系统对所述监控文件执行关闭操作的第三系统调用，在监控到所述第三系统调用之后，若再次监控到所述第二系统调用，则重新获取运行所述监控文件的进程信息以及所述监控文件的文件描述符，以及基于所述重新获取的进程信息与文件描述符，监控所述第一系统调用。

本公开的另一方面提供了一种日志处理装置。所述装置包括文件监控模块以及文件接收模块。所述文件监控模块设置于操作系统的内核空间。所述文件监控模块用于：监控在操作系统的内核空间中所述操作系统对监控文件执行写操作的第一系统调用；当监控到所述第一系统调用时，复制所述第一系统调用的第一参数的参数值，其中所述第一参数用于向所述监控文件中写入日志内容；以及将所述第一参数的参数值从所述内核空间发送到所述操作系统的用户空间。所述文件内容接收模块设置于所述用户空间。所述文件内容接收模块用于在所述用户空间接收所述第一参数的参数值，以及在所述用户空间中将所述第一参数的参数值传递给至少一个应用程序。