[发明专利]一种预写日志存储方法、系统及设备

说明书

本发明公开了一种预写日志存储方法、系统及设备，属于计算机存储领域。针对现有技术中存在的安全性不高、效率低的问题，本发明提供了一种预写日志存储方法、系统及设备，通过对存储介质空间段进行管理，对每次写入预写日志的物理位置进行计算，实现预写日志顺序写入和顺序淘汰。当预写日志变成无效时，根据预写日志在存储介质中的位置顺序回收，回收无效日志的空间时，不在存储介质中擦除无效日志，直接将新的预写日志写入回收的空间里，覆盖回收的无效预写日志。它可以实现对数据存储预写日志进行高效管理，支持数据快速写入，快速淘汰回收。

技术领域

本发明涉及计算机存储领域，更具体地说，涉及一种预写日志存储方法、系统及设备。

背景技术

在数据存储领域中，为了保证数据的一致性，关联数据实际存储到存储介质前都需要先写成预写日志，以便于保证当机器故障时关联数据可以被同时修改或者同时不被修改，而不会出现某一部分被修改的情况。由于该功能是存储系统中不可或缺的功能，预写日志发生在数据实际持久化之前，它的性能和可用性也严重影响到整个存储系统的性能和可用性，因此针对预写日志的高效可靠管理，也变得特别重要。

一套系统在修改一个或多个存储介质中的多个相关数据或者多个节点间的相关数据时，我们希望这些相关数据要么都修改成功，要么都不修改，而不希望出现修改一部分的情况出现。如果直接修改存储介质中的数据，最大的风险就是修改过程中如果发生节点宕机的话就会出现只修改一部分的情况。当节点重启之后我们无法进行修复。因此为了保证数据写入一致性，往往会在关联数据实际写入前进行预写日志，预写日志也需要持久化到存储介质，当预写日志写入存储介质成功后再修改存储介质中的关联数据。

现有技术中往往都是预写日志功能设置在数据库的存储引擎中，如中国专利申请，申请号202210158482.8，公开日2022年6月3日，公开了处理预写日志的方法、装置及系统，其中所述处理预写日志的方法包括：基于消息队列通信协议提供发布接口以及订阅接口；通过所述发布接口接收预写日志写入请求；根据所述预写日志写入请求携带的数据获取预写日志记录；将所述预写日志记录存储入消息队列，使订阅端通过所述订阅接口消费所述日志记录；其中，所述预写日志记录中的日志序号是基于消息偏移量与日志序号之间的对应规则确定的，所述消息偏移量是所述预写日志记录在消息队列中的消息偏移量，所述日志序号，用于使订阅端基于消息偏移量与日志序号之间的对应规则，确定需要回放的预写日志记录对应的消息偏移量。但是依旧会有服务器宕机丢失数据的可能性，且读写速度不高。

发明内容

1.要解决的技术问题

针对现有技术中存在的安全性不高、效率低的问题，本发明提供一种预写日志存储方法、系统及设备，它可以实现对数据存储预写日志进行高效管理，支持数据快速写入，快速淘汰回收。

2.技术方案

本发明的目的通过以下技术方案实现。

一种预写日志存储系统的方法，其步骤如下，

预写日志直接被写入存储介质，而不经过任何中间系统，比如文件系统、数据库或者操作系统缓存等。预写日志在写入存储介质时需要被顺序的写入，这个顺序是按照存储介质的位置顺序写，当预写日志变成无效时，需要对这些无效日志的所占的存储空间进行空间回收：无效日志的回收策略按它们在存储介质中的位置顺序回收，即最早写入存储介质的预写日志需要最先被回收；在回收无效日志的空间时，不需要在存储介质中擦除无效日志，而是当新的预写日志需要被写入存储介质时，把新的预写日志写入回收的空间里，即对应回收无效日志的存储介质的所在位置，直接覆盖无效日志。

更进一步的，预写日志的大小为chunkWriteSize，writePosition为新的预写日志所分配出来的在存储介质上的位置，readPosition为最先提交的但有效的预写日志所在存储介质的位置，capacity为需要存储内容占据存储介质的空间大小，具体移动起始位置的方式如下，