[发明专利]一种日志数据管理方法、装置、设备及存储介质

说明书

本申请公开了一种日志数据管理方法、装置、设备及存储介质，涉及计算机数据管理技术领域，该方法包括：基于日志功能类型对各待合并日志的基本数据结构进行提取，以得到各所述待合并日志对应的基本数据结构；基于各所述待合并日志对应的基本数据结构确定各所述待合并日志的重要程度值；从各所述待合并日志中筛选出满足预设重要度条件的若干条目标日志，所述预设重要度条件为各所述目标日志的重要程度值均相等且小于所述各待合并日志中的其他日志的重要程度值；基于预设日志合并规则对各所述目标日志进行合并操作，以得到相应的合并后日志。本申请通过将重要程度相同的日志利用日志合并规则进行合并，可以有效地减少日志占用的存储空间。

技术领域

本发明涉及计算机数据管理技术领域，特别涉及一种日志数据管理方法、装置、设备及存储介质。

背景技术

现代大型业务系统往往有很高的复杂性，为了系统资源管理的安全性，以及出现问题后排查解决的效率考虑，业务系统会对运行过程中产生的日志进行大量的记录和存储。在运行半年或者一年以上后，这些日志文件通常会占用极大的存储空间，造成成本的提升和运维难度的增加。

第一是日志信息占用的存储空间。虽然每条日志最小的可能只有几KB大小，但是当日志一天天的积累下来，日志占用的空间可能达到几百G甚至是TB级别，在这种情况下，无论是查询还是迁移，都十分的困难。第二是日志的重要性问题，目前大多数系统的运维人员都将日志自动清理设置在半年内，一条日志存储后，可能很久以后才突然需要使用，例如一个潜伏时间长达半年的病毒，当它发作时，往往半年前系统内部的资源访问日志已经被删除了，就导致很难对该病毒的传播路径进行溯源。但是从成本角度考虑，普通的用户访问日志确实没有存储半年以上的必要性，因此这也是目前系统安全方面的风险之一。第三是日志查询的效率。使用大数据相关组件确实可以极大的提升大量日志查询的速度，但是该方案是以空间换取了时间，将日志全量存储在硬盘中，占用的空间只会越来越大。因此如何解决这些问题成为难点。

发明内容

有鉴于此，本发明的目的在于提供一种日志数据管理方法、装置、设备及存储介质，能够有效地控制日志所占用的存储空间。其具体方案如下：

本申请的第一方面提供了一种日志数据管理方法，包括：

基于日志功能类型对各待合并日志的基本数据结构进行提取，以得到各所述待合并日志对应的基本数据结构；

基于各所述待合并日志对应的基本数据结构确定各所述待合并日志的重要程度值；

从各所述待合并日志中筛选出满足预设重要度条件的若干条目标日志，所述预设重要度条件为各所述目标日志的重要程度值均相等且小于所述各待合并日志中的其他日志的重要程度值；

基于预设日志合并规则对各所述目标日志进行合并操作，以得到相应的合并后日志。

可选的，所述基于预设日志合并规则对各所述目标日志进行合并操作，以得到相应的合并后日志之后，还包括：

判断当前是否存在还未进行合并操作的所述待合并日志；

若存在，则重新跳转至所述从各所述待合并日志中挑选出满足预设重要度条件的若干条目标日志的步骤，直至当前不存在还未进行合并操作的所述待合并日志。

可选的，所述基于预设日志合并规则对各所述目标日志进行合并操作，以得到相应的合并后日志之后，还包括：

确定所述合并后日志的重要程度值，并对重要程度值小于预设程度阈值的所述合并后日志并进行压缩处理，以得到压缩后日志。

可选的，所述方法还包括：

通过预设配置接口获取表征开始进行日志数据合并的用户指令，以便基于所述用户指令触发所述基于日志功能类型对各待合并日志的基本数据结构进行提取的步骤。