[发明专利]清除过期数据的方法及装置

说明书

本发明提供了一种清除过期数据的方法及装置，该方法包括：对数据文件进行压缩并生成新数据文件时，获取所述新数据文件中每个数据单元的剩余生存时间；获取所述新数据文件的数据空洞比例；结合所述数据空洞比例以及所述每个数据单元的剩余生存时间，设置对所述新数据文件执行数据清除操作的时间并保存；在所述执行数据清除操作的时间到来时对所述新数据文件执行数据清除操作。基于本发明提供的清除过期数据方法，可自动设置各数据文件自动定时清除过期数据的时间，及时完成符合空洞率比例的过期数据回收。

技术领域

本发明涉及计算机技术领域，特别涉及一种清除过期数据的方法及装置。

背景技术

随着互联网技术的不断发展，越来越多的用户通过互联网进行数据分享与获取，为了保证人们获取数据的有效性，需实时对数据进行更新。此时，为了保证系统的正常运行，需要对过期数据进行及时回收。目前，单纯依靠引擎自身的compaction策略或者人为的手动compaction对过期数据的回收效果不明显，尤其是对于存在大量过期数据的情况，磁盘空洞率很高，容易造成磁盘浪费。

发明内容

本发明提供了一种清除过期数据的方法及装置以克服上述问题或者至少部分地解决上述问题。

根据本发明的一个方面，提供了一种清除过期数据的方法，包括：

对数据文件进行压缩并生成新数据文件时，获取所述新数据文件中每个数据单元的剩余生存时间；获取所述新数据文件的数据空洞比例，以获取到新数据文件的可容忍的存储过期数据的比例，其中，数据空洞比例为数据库可容忍的最大空洞比例；结合所述数据空洞比例以及所述每个数据单元的剩余生存时间，设置对所述新数据文件执行数据清除操作的时间并保存；在所述执行数据清除操作的时间到来时对所述新数据文件执行数据清除操作。

可选地，所述获取所述新数据文件中每个数据单元的剩余生存时间，包括：读取所述新数据文件中每个数据单元的特定字段，获取所述每个数据单元的剩余生存时间。

可选地，所述结合所述数据空洞比例以及所述每个数据单元的剩余生存时间，设置对所述新数据文件执行数据清除操作的时间并保存，包括：将所述新数据文件中的数据单元按照剩余生存时间从小到大的顺序进行排列，生成过期数据单元列表；按照所述数据空洞比例，从所述过期数据单元列表的第一个数据单元开始依次对所述数据单元进行选取；依据选取出的最后一个数据单元的剩余生存时间设置对所述新数据文件执行数据清除操作的时间并保存。

可选地，所述依据选取出的最后一个数据单元的剩余生存时间设置对所述新数据文件执行数据清除操作的时间，包括：获取所述选取出的最后一个数据单元的剩余生存时间；将所述选取出的最后一个数据单元剩余生存时间与所述新数据文件生成时的时间进行叠加后的时间设置为所述新数据文件下次执行数据清除的时间。

可选地，所述保存对所述新数据文件执行数据清除操作的时间，包括：将对所述新数据文件执行数据清除的时间写入所述新数据文件的预设字段。

可选地，所述数据文件为key-value结构的数据文件。

可选地，所述获取所述新数据文件中每个数据单元的剩余生存时间，包括：读取与key对应的value中的ttl字段，获取所述新key-value数据文件中每个key的剩余生存时间。

可选地，所述保存对所述数据文件执行数据清除操作的时间，包括：将对所述新key-value数据文件执行数据清除的时间写入新key-value数据文件的末尾。

根据本发明的另一个方面，还提供了一种清除过期数据的装置，包括：