[发明专利]日志服务系统及日志记录的处理方法

说明书

本发明提供一种日志服务系统及日志记录的处理方法，该系统包括：日志存储模块、日志解析模块以及元信息模块；日志存储模块用于保存主计算节点发送的日志块；日志解析模块用于将从日志存储模块中读取到的日志块确定为目标日志块，获取目标日志块中的每条日志记录；提取每条日志记录的元信息，并将每条日志记录的元信息保存至每个日志记录在元信息模块中所属的存储模块中，元信息包含日志记录的日志序列号和日志长度。本发明将将日志记录和日志记录的元信息分开保存，避免日志记录重复存储，减少对额外内存的占用，提高日志服务系统的内存利用率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种日志服务系统及日志记录的处理方法。

背景技术

日志记录可用于记录设备的各种数据处理信息、性能信息以及被使用信息等，还可以用于记录各种业务的操作过程信息。日志记录是开发人员进行溯源或是进行数据分析的其中一项重要的数据。

日志服务系统可以应用在各种数据库系统中，其中，云原生数据库便是其中一种。发明人研究发现，目前日志服务系统中的内存被大量重复的日志记录占用，极大的降低了日志服务系统的内存的利用率。

发明内容

有鉴于此，本发明提供一种日志服务系统及日志记录的处理方法，应用本发明可提取出日志记录的元信息，并将元信息和日志记录分开保存，由此无需重复保存日志记录，提高日志服务系统的内存的利用率。

为实现上述目的，本发明实施例提供如下技术方案：

本申请第一方面公开了一种日志服务系统，该系统包括：

日志存储模块、日志解析模块以及元信息模块；

所述日志存储模块，用于保存主计算节点发送的日志块；

所述日志解析模块，用于读取所述日志存储模块中的日志块，并将读取到的日志块确定为目标日志块，获取所述目标日志块中的每条日志记录；对于每条所述日志记录，提取所述日志记录的元信息，确定所述日志记录在所述元信息模块中所属的存储模块，并将所述日志记录的元信息保存至所述日志记录在所述元信息模块中所属的存储模块中，其中，所述元信息包含日志记录的日志序列号和日志长度。

上述的系统，可选的，所述日志存储模块，用于在接收到主计算节点发送的日志块后，在所述日志存储模块的各个缓存单元中确定目标缓存单元，将日志块保存至所述目标缓存单元中。

上述的系统，可选的，所述元信息模块，包括：

多个存储模块；

每个所述存储模块中包含至少一个内存块，每个所述存储模块中的各个内存块链接成内存块链；

所述内存块，用于保存日志记录的元信息。

上述的系统，可选的，所述日志解析模块，用于在获取所述目标日志块中的每条日志记录后，提取每条所述日志记录的元信息，对于每条所述日志记录，确定所述日志记录在所述元信息模块中所属的存储模块，确定所述存储模块的内存块链中的最后一个内存块是否存在可用空间，若内存块链中的最后一个内存块存在可用空间，则将所述日志记录的元信息保存至所述内存块链中的最后一个内存块中；若内存块链中的最后一个内存块不存在可用空间，则从所述元信息模块的空闲链表中获取空内存块，并将所述空内存块链接至所述内存块链的尾部，并将所述日志记录的元信息保存至链接到所述内存块链的空内存块中。

上述的系统，可选的，所述元信息模块，还包括：

清理模块；

所述清理模块，用于基于所述日志存储模块中被覆盖的各个日志记录确定目标日志序列号；基于所述目标日志序列号，在所述元信息模块中确定满足预设的清除条件的各个内存块；基于每个满足预设的清除条件的内存块在其所属的存储模块中的位置信息，对每个满足预设的清除条件的内存块进行清除操作。