[发明专利]数据删除方法及装置

说明书

本发明公开了一种数据删除方法，包括步骤：获取待处理数据；确定待处理数据中相互匹配的对象；比对相互匹配的对象对应的数据，确定相互匹配的对象间重复的数据；将所确定的重复的数据删除。本发明还公开了一种数据删除装置。本发明有效合理的删除数据，提高存储空间。

技术领域

本发明涉及数据处理技术领域，尤其涉及数据删除方法及装置。

背景技术

随着社会数字网络信息化进程的不断推进，全球IT企业管理的数据量集剧增长，当前大规模的数据中心对复杂数据的管理在扩展性、性能和成本等方面要求在不断的提升。为了减缓企业存储容量的增长，传统的重复数据删除存储管理技术和方法已无法满足大数据备份应用的服务质量需求，新的软硬件技术进步为大数据管理能力的提升带来机遇。

目前市场上大部分的重复数据删除系统，为了识别冗余数据块和定位数据块，必须依赖基于指纹的元数据索引算法，尤其是在大数据存储环境下，代表数据的指纹数量也比较庞大，系统需要付出昂贵的成本来维护该指纹数据结构来保证重删性能。虽然这些技术能有效减少系统中的冗余数据，但是其主要思路是采用数据源局部性特征来改善重删性能，在分布式存储中局部性特征并不明显，无法有效合理的删除数据，导致冗余数据删除不够彻底，占用存储空间。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据删除方法及装置，旨在解决目前重复数据删除的主要思路是采用数据源局部性特征来改善重删性能，在分布式存储中局部性特征并不明显，无法有效合理的删除数据，导致冗余数据删除不够彻底，占用存储空间的问题。

为实现上述目的，本发明提供的一种数据删除方法，包括步骤：

获取待处理数据；

确定待处理数据中相互匹配的对象；

比对相互匹配的对象对应的数据，确定相互匹配的对象间重复的数据；

将所确定的重复的数据删除。

优选地，所述获取待处理数据的步骤包括：

确定数据删除的模式；

在数据删除的模式为实时删除模式时，获取当前存入的数据以及历史存入的数据，将当前存入的数据以及历史存入的数据作为待处理数据；

在数据删除的模式为定时删除模式时，获取当前已存储的数据，将当前已存储的数据作为待处理数据。

优选地，所述获取待处理数据之前，还包括：

接收待存储数据，将所述待存储数据切片，切成预设大小的切片数据块；

将每个切片数据块以对象的方式存储，将每个切片数据的对象和指纹索引组成数据结构存储。

优选地，所述确定待处理数据中相互匹配的对象的步骤包括：

确定所述待存储数据中包含的对象；

将所确定的对象加入指纹索引队列，进行对象指纹比对，通过Hash算法确定相互匹配的对象。

优选地，所述比对相互匹配的对象对应的数据，确定相互匹配的对象间重复的数据的步骤包括：

比对相互匹配的对象对应的数据，通过MD5算法计算数据的正确性得到有效数据；

从有效数据中确定相互匹配的对象间重复的数据。

此外，为实现上述目的，本发明还提供一种数据删除装置，包括：

获取模块，用于获取待处理数据；

确定模块，用于提取待处理数据中相互匹配的对象；