[发明专利]日志处理方法及装置

说明书

本发明提供了一种日志处理方法、装置、电子设备及计算机可读存储介质；方法包括：获取待压缩的日志文件，并获取所述日志文件中包括的多个字段；对每个所述字段对应的字段值进行编号，并生成以所述编号为键、以及以与所述编号对应的字段值为值的键值对；基于每个所述字段对应的键值对形成压缩材料文件；根据所述压缩材料文件将所述日志文件中的字段值替换为对应的编号，得到压缩后的所述日志文件。通过本发明，能够在使用压缩算法对日志进行压缩前，预先将数据库的日志中冗余的内容进行压缩，以便进一步提高后续日志压缩时的压缩率，进而减少空间使用率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志处理方法、装置、电子设备及计算机可读存储介质。

背景技术

相关技术在对日志进行压缩时，通常是直接通过数据压缩算法对日志内容进行强制压缩，在此方案下想要进一步提高数据的压缩率就需要开发性能更为强大的压缩算法。

然而，开发并实际落地一个新的压缩算法所需要的时间十分漫长，导致通过开发新的数据压缩算法来提高压缩效率的可行性难度较大。

发明内容

本发明实施例提供一种日志处理方法、装置、电子设备及计算机可读存储介质，能够将日志中冗余的内容进行有效压缩，以减少空间使用率。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种日志处理方法，包括：

获取待压缩的日志文件，并获取所述日志文件中包括的多个字段；

对每个所述字段对应的字段值进行编号，并生成以所述编号为键、以及以与所述编号对应的字段值为值的键值对；

基于每个所述字段对应的键值对形成压缩材料文件；

根据所述压缩材料文件将所述日志文件中的字段值替换为对应的编号，得到压缩后的所述日志文件。

本发明实施例提供一种日志处理装置，包括：

获取模块，用于获取待压缩的日志文件；

所述获取模块，还用于获取所述日志文件中包括的多个字段；

编号模块，用于对每个所述字段对应的字段值进行编号，并生成以所述编号为键、以及与所述编号对应的字段值为值的键值对；

形成模块，用于基于每个所述字段对应的键值对形成压缩材料文件；

替换模块，用于根据所述压缩材料文件将所述日志文件中的字段值替换为对应的编号，得到压缩后的所述日志文件。

上述方案中，所述编号模块，还用于当所述字段的类型为远程主机时，将所述远程主机的多个字段值分别进行进制转化，得到转化字段值；确定所述多个字段值分别对应转化字段值中的最小值，并计算其他的转化字段值与所述最小值的差值，其中，所述其他的转化字段值为除所述最小值之外的转化字段值；当计算得到同一差值的次数超过差值频数阈值时，对所述超过差值频数阈值的差值进行编号，并生成以所述编号为键、以及以所述编号对应的差值为值的键值对；以及用于当计算得到所述最小值出现的次数大于最小值频数阈值时，生成以所述最小值的标识为键，以所述最小值为值的键值对。

上述方案中，所述编号模块，还用于当所述字段的类型为用户名，且所述用户名对应的字段值不为空时，对所述用户名对应的字段值进行编号，并生成以所述编号为键、以及与所述编号对应的字段值和所述字段值的数量为值的键值对；以及用于当所述字段的类型为用户认证，且所述用户认证对应的字段值不为空时，对所述用户认证对应的字段值进行编号，并生成以所述编号为键、以及与所述编号对应的字段值和所述字段值的数量为值的键值对。