[发明专利]数据存储方法及装置、数据恢复方法及装置

说明书

本申请公开了一种数据存储方法及装置、数据恢复方法及装置。其中，该方法包括：获取待存储数据；压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。本申请解决了相关技术中数据库进行数据压缩存储后在故障恢复时效率较低的技术问题。

技术领域

本申请涉及数据库技术领域，具体而言，涉及一种数据存储方法及装置、数据恢复方法及装置。

背景技术

目前，数据库的部署形态根据数据存储分布情况主要分为分布式和单机两种形态，随着用户数据存储量逐年增长，单个数据库实例的数据集大小以TB当量级别的已经很常见，但是存储成本也在增加，因此，数据库系统采用压缩数据的技术进行数据存储，以此来减少存储数据在磁盘上实际占用空间的大小，从而减少数据的存储成本。

当数据库系统发生故障时，为了不影响前端用户业务的连续性，相关技术人员通常利用系统本身提供的WAL（Write Ahead Log，预写日志）技术来恢复数据到故障点发生时刻的状态，若此时数据库开启了数据压缩功能，会引入了压缩恢复处理的额外开销，导致数据库系统的RTO（Recovery Time Object，恢复时间目标增加），从而影响系统业务的连续性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据存储方法及装置、数据恢复方法及装置，以至少解决相关技术中数据库进行数据压缩存储后在故障恢复时效率较低的技术问题。

根据本申请实施例的一个方面，提供了一种数据存储方法，包括：获取待存储数据；压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。

可选地，目标内存的类型至少包括以下之一：高速内存和保电内存，其中，高速内存的类型至少包括以下之一：固态硬盘存储介质和相变存储介质；保电内存用于在数据库系统掉电时保证存储的所有压缩数据不丢失。

可选地，统计信息中至少包括以下子信息之一：压缩数据的压缩级别信息和压缩频率信息，压缩数据占用目标内存空间的比例信息，目标内存的剩余可用空间信息。

可选地，在将目标预写日志存储至数据库的日志文件库中之后，还包括：将重定向信息存储至目标内存中用于存储元数据的元数据区域中。

可选地，基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中，包括：确定统计信息中各个子信息的权重，并基于各个子信息及各个子信息的权重计算得到检查点确认值，检查点确认值用于判断是否生成检查点；在检查点确认值大于预设阈值时，在日志文件库中生成检查点 ；将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中，其中，第一预写日志中包括目标预写日志，第一压缩数据中包括目标压缩数据。

可选地，在将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中之后，还包括：删除日志文件库中的所有第一预写日志。

可选地，在获取待存储数据之后，还包括：直接将待存储数据写入目标磁盘中。