[发明专利]日志处理方法、装置、设备和存储介质

说明书

本申请提供一种日志处理方法、装置、设备和存储介质，其中该方法包括：通过获取源端中的多个日志，采用循环覆盖的方式将多个日志存储至N个日志组中；在确定N个日志组中的P个日志组的日志发生数据变更时，获取P个日志组中的每一个日志组的变更数据，P小于等于N；并行的对P个日志组中的每一个日志组的变更数据进行解析，得到与P个日志组中的每一个日志组对应的解析数据。采用循环覆盖的方式将日志存储至日志组中，可以减少日志数量，不需要额外存储日志的空间；并行的对日志组中的日志进行解析，得到变更数据的解析数据，可以提高日志解析效率，有利于快速处理和存储解析后的日志。

技术领域

本申请涉及计算机技术，尤其涉及一种日志处理方法、装置、设备和存储介质。

背景技术

随着计算机技术的发展，在数据处理的过程中，会产生大量日志。需要日志进行解析，然后将解析后的数据发送给接收端，例如存储到各个数据库中。

现有技术中，日志的产生方式是累增的过程，如果日志被修改，就会产生修改后的日志，从而会产生大量的数据，需要对大量数据进行存储。然后，一条一条的对日志进行解析，得到解析数据，再将解析数据发送给接收端。

然而现有技术中，对日志进行解析的时候，是顺序的解析存储的日志，这种一条一条的去解析日志的方式，解析效率低，进而不利于快速处理和存储解析后的日志。

发明内容

本申请提供一种日志处理方法、装置、设备和存储介质，用以解决现有技术中解析效率低，进而不利于快速处理和存储解析后的日志的问题。

第一方面，本申请提供一种日志处理方法，包括：

获取源端中的多个日志，采用循环覆盖的方式，将所述多个日志存储至N个日志组中，其中，所述N个日志组中的每一个日志组中包括至少一个日志，N为大于1的正整数；

在确定所述N个日志组中的P个日志组的日志发生数据变更时，获取所述P个日志组中的每一个日志组的变更数据，其中，P为大于等于1的正整数，P小于等于N；

并行的对所述P个日志组中的每一个日志组的变更数据进行解析，得到与所述P个日志组中的每一个日志组对应的解析数据；

将与所述P个日志组中的每一个日志组对应的解析数据，发送给接收端。

进一步地，并行的对所述P个日志组中的每一个日志组的变更数据进行解析，得到与所述P个日志组中的每一个日志组对应的解析数据，包括：

在并行的对所述P个日志组中的每一个日志组的变更数据进行解析时，检测所述P个日志组中的每一个日志组是否满足预设条件，其中，所述预设条件表征日志组中的日志即将被新日志覆盖；

将满足预设条件的日志组进行复制处理，得到与满足预设条件的日志组对应的复制后日志；对所述复制后日志进行解析，得到与满足预设条件的日志组对应的解析数据；

对不满足预设条件的日志组中的变更数据进行解析，得到与不满足预设条件的日志组对应的解析数据。

进一步地，所述预设条件为|B-M％N|D，B是与日志组对应的日志变更监听器的编号，M是当前正在被写入日志的日志组的编号，D是预设阈值。

进一步地，所述解析数据中包括数据包标记，所述数据包标记用于标记变更数据的产生次序；

将与所述P个日志组中的每一个日志组对应的解析数据，发送给接收端，包括：

根据所述数据包标记，将与所述P个日志组中的每一个日志组对应的解析数据进行排序，得到排序后的解析数据的序列，其中，具有相同数据包标记的解析数据根据解析次序被排序；

将所述序列中的解析数据，依次发送给接收端。