[发明专利]一种数据库的数据清理方法及装置

说明书

本申请提供了一种数据库的数据清理方法及装置，首先，获取数据库中全部数据分片中的可操作数据分片。然后，将全部可操作数据分片写入新建数据文件。响应于对数据库的清理指令，根据删除标记从新建数据文件中确定带有删除标记的数据分片，并删除这些带有删除标记的数据分片，以清理数据库。可见，本申请可以有效删除已经带有删除标记而未删除数据内容的数据分片，从而起到彻底清理数据分片的效果。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据库的数据清理方法及装置。

背景技术

WOS(Wuba Object Storage，Wuba对象存储)适合用来保存图片、音频、短视频和各种类型的文件等非结构化数据，能够满足海量文件存储和处理的需求。WOS前端提供RESTful API，可以直接通过HTTP协议与服务端进行交互，支持多种上传接口。WOS后端采用分布式存储技术，通过多副本或纠删码技术保证数据安全可靠。

WOS在基于纠删码的存储技术实现过程中，WOS首先将一份数据平均分为4份子数据，并且同时生成2份校验数据，并将上述6份数据分别存储于6个磁盘中，其中，这6个磁盘分属6台机器上，作为6个数据节点，将这6个数据节点定义为一个群组。针对某些失效数据，WOS采用标记删除的方式对失效数据进行删除。具体地，当存储数据库接收到删除指令之后，对需要删除的数据分片进行标记，当数据分片被标记之后就默认该数据分片已经被删除。

但是，采用现有的数据删除方法，并不能真正地将数据彻底删除，这些数据仍然会占用存储数据库的大量内存。

发明内容

本申请提供了一种数据库的数据清理方法及装置，以解决现有数据删除方法无法彻底删除数据，释放数据库的内存的问题。

第一方面，本申请实施例提供了一种数据库的数据清理方法，应用于基于WOS进行存储的数据库，所述方法包括：

获取所述数据库中全部数据分片中的可操作数据分片，所述可操作数据分片为在所述数据库中对应存有数据内容的所述数据分片，其中，所述可操作数据分片包括带有删除标记的数据分片，所述带有删除标记的数据分片为在所述数据库中存在删除记录的所述可操作数据分片；

将全部所述可操作数据分片写入新建数据文件；

响应于对所述数据库的清理指令，根据所述删除标记从所述新建数据文件中确定带有删除标记的数据分片，并删除所述带有删除标记的数据分片，以清理所述数据库。

在本发明实施例第一方面一种可能的实现方式中，

所述获取所述数据库中全部数据分片中的可操作数据分片之前包括：

响应于对所述数据库的禁止写入指令，在当前的数据清理过程中锁定所述数据库写入新的数据分片的动作，以防止所述写入新的数据分片的动作与所述当前的数据清理过程相冲突。

在本发明实施例第一方面一种可能的实现方式中，

所述响应于对所述数据库的清理指令，根据所述删除标记从所述新建数据文件中确定带有删除标记的数据分片，并删除所述带有删除标记的数据分片之前包括：

接收待处理清理指令，所述待处理清理指令为等待所述数据库响应的清理指令；

判断所述待处理清理指令对应的接收时间是否属于预设可执行清理指令的时间段；

如果是，则确定所述待处理清理指令为清理指令。

在本发明实施例第一方面一种可能的实现方式中，

所述响应于对所述数据库的清理指令，根据所述删除标记从所述新建数据文件中确定带有删除标记的数据分片，并删除所述带有删除标记的数据分片包括：

获取各所述带有删除标记的数据分片的分片名称；