[发明专利]一种日志采集方法、装置、设备及可读存储介质

说明书

本申请实施例提供了一种日志采集方法及相关装置、设备、可读存储介质，将获取到的日志数据转换为日志对象，并获取填充文件，因为日志对象包括系统运行过程中产生的日志数据，填充文件包括待写入的静态数据，又因为，日志对象和所述填充文件的格式相同，且填充文件在日志采集工具启动时，通过对预先配置的静态日志采集生成，所以，通过将日志对象和填充文件合并得到的输出文件中，既包括日志数据也包括静态数据，因此，基于输出文件，输出的日志填充了静态数据。综上，本方法能够实现在采集系统运行过程中的日志数据的同时，将不包括在日志数据中的内容即静态数据填充至日志中，达到输出包括静态数据的日志的目的。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志采集方法、装置、设备及可读存储介质。

背景技术

在企业运行中，存在各种各样的业务系统，业务系统产生的日志需要做采集分析。具体的，业务系统运行产生日志，Flume可以用于日志的采集。采集到的日志用作对业务以及业务系统进行分析。

现有的日志采集工具，例如Flume，只能够实现对于日志中的内容的采集，而无法输出不包括在日志内容中数据(简称为静态数据)，例如，在存在多个业务系统的情况下，需要在日志数据中添加业务系统的标识，但现有的日志采集工具无法实现。

发明内容

本申请提供了一种日志采集方法及相关装置、设备、可读存储介质，目的在于输出包括静态数据的日志，如下：

一种日志采集方法，应用于日志采集工具的拦截器，包括：

在获取到日志数据后，将所述日志数据转换为日志对象；

获取填充文件，所述填充文件中存储有待写入的静态数据，所述日志对象的格式与所述填充文件的格式相同；所述填充文件在所述日志采集工具启动时，通过对预先配置的静态日志采集生成；

通过合并所述日志对象和所述填充文件，得到输出文件；

基于所述输出文件，输出日志。

可选地，将所述日志数据转换为日志对象，包括：

从所述日志数据中识别第一类型数据和第二类型数据，所述第一类型数据为多个业务系统通用的数据项的数据；所述第二类型数据为非通用的数据项的数据；

将所述第一类型数据转换为所述日志对象；

依据所述第二类型数据的格式，将所述第二类型数据记录在所述日志对象中。

可选地，依据所述第二类型数据的格式，将所述第二类型数据记录在所述日志对象中，包括：

将第一格式的所述第二类型数据，加入所述日志对象；所述第一格式为输出的所述日志的格式；

将第二格式的所述第二类型数据的标识，加入所述日志对象，所述第二格式与所述第一格式不同。

可选地，将第一格式的所述第二类型数据，加入所述日志对象，包括：

将所述第一格式的所述第二类型数据，转换为Map类的第一实例对象；

将所述MsgMap合并到所述日志对象中。

可选地，本方法还包括：

将所述第二格式的所述第二类型数据，以所述标识存储。

可选地，通过对预先配置的静态日志采集生成所述填充文件的过程，包括：

获取预设配置的所述静态数据；

将所述静态数据转换为Map类的第二实例对象。

一种拦截器，包括：

日志转换模块，用于在获取到日志数据后，将所述日志数据转换为日志对象；