[发明专利]重复数据的删除方法和装置

说明书

本发明公开了一种重复数据的删除方法和装置。该方法用于分布式存储的重复数据删除，该方法包括：根据分布式存储的基本存储单元对目标数据执行数据块分割，得到分割数据块；基于分割数据块检测是否存在重复数据；如果检测出存在重复数据，则删除重复数据。本发明解决了现有技术无法针对分布式存储进行有效的重复数据删除的技术问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种重复数据的删除方法和装置。

背景技术

重复数据删除(简称重删)是一种节约数据存储空间的技术。在计算机中存储很多重复数据，这些数据占用了大量硬盘空间，利用重删技术，可以只存储一份数据。另外一种节约存储空间的技术是数据压缩，数据压缩技术在比较小的范围内以比较小的粒度查找重复数据，粒度一般为几个比特到几个字节。而重删是在比较大的范围内查找大块的重复数据，一般重复数据块尺寸在1KB以上。常见的重删主要应用于文件的重删和块级别的重删。

分布式文件系统Ceph是一种高性能、高可靠性及高扩展性的分布式存储系统，Ceph在内部使用了以对象为粒度的存储方式，即无论前端应用是文件，块，或者对象，内部都统一以对象进行存储，典型地，Ceph默认设置该对象大小为4M，能提供很高的性能和扩展性。

目前的重删技术集中在传统存储应用上，以文件或者块重删为特点，而针对于分布式文件系统的对象存储，如何解决分布式存储下的重复数据删除，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种重复数据的删除方法和装置，以至少解决现有技术无法针对分布式存储进行有效的重复数据删除的技术问题。

根据本发明实施例的一个方面，提供了一种重复数据的删除方法，该方法用于分布式存储的重复数据删除，该方法包括：根据分布式存储的基本存储单元对目标数据执行数据块分割，得到分割数据块；基于分割数据块检测是否存在重复数据；如果检测出存在重复数据，则删除重复数据。

进一步地，根据分布式存储的基本存储单元对目标数据执行数据块分割，得到分割数据块包括：按照预设数据块的大小对目标数据执行数据块分割，其中，分割数据块的大小等于预设数据块的大小。

进一步地，基于分割数据块检测是否存在重复数据包括：基于分割数据块在全局视图内是否存在重复数据。

进一步地，在根据分布式存储的基本存储单元对目标数据执行数据块分割之后，得到多个分割数据块。基于分割数据块检测是否存在重复数据包括：对多个分割数据块对应的数据段分别执行计算，得到分别对应于多个分割数据块的指纹值；通过判断多个分割数据块的指纹值是否在预设指纹数据库中存在检测是否存在重复数据。

进一步地，对多个分割数据块对应的数据段分别执行计算，得到分别对应于多个分割数据块的指纹值之后，该方法还包括：判断是否存在无效指纹；如果判断出存在无效的指纹，则删除无效的指纹。

进一步地，在得到多个分割数据块之后，该方法还包括：获取目标数据的元数据和多个分割数据块的元数据；将目标数据的元数据和多个分割数据块的元数据存储至分布式存储的元数据中。

根据本发明实施例的另一方面，还提供了一种重复数据的删除装置，该重复数据的删除装置用于分布式存储的重复数据删除，该装置包括：分割模块，用于根据分布式存储的基本存储单元对目标数据执行数据块分割，得到分割数据块；检测模块，用于基于分割数据块检测是否存在重复数据；删除模块，用于在检测出存在重复数据时，删除重复数据。

进一步地，分割模块用于按照预设数据块的大小对目标数据执行数据块分割，其中，分割数据块的大小等于预设数据块的大小。

进一步地，检测模块用于基于分割数据块在全局视图内是否存在重复数据。