[发明专利]重复数据的删除方法和装置在审
| 申请号： | 201710640373.9 | 申请日： | 2017-07-31 |
| 公开（公告）号： | CN109947731A | 公开（公告）日： | 2019-06-28 |
| 发明（设计）人： | 惠孟战;王豪迈;胥昕 | 申请（专利权）人： | 星辰天合（北京）数据科技有限公司 |
| 主分类号： | G06F16/182 | 分类号： | G06F16/182;G06F16/174;G06F3/06 |
| 代理公司： | 北京康信知识产权代理有限责任公司 11240 | 代理人： | 赵囡囡;褚敏 |
| 地址： | 100096 北京市海淀区蓝靛*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 重复数据 分布式存储 删除 重复数据删除 方法和装置 分割数据块 基本存储单元 数据块分割 目标数据 检测 | ||
1.一种重复数据的删除方法，其特征在于，所述方法用于分布式存储的重复数据删除，所述方法包括：
根据分布式存储的基本存储单元对目标数据执行数据块分割，得到分割数据块；
基于所述分割数据块检测是否存在重复数据；以及
如果检测出存在重复数据，则删除重复数据。
2.根据权利要求1所述的重复数据的删除方法，其特征在于，
根据分布式存储的基本存储单元对目标数据执行数据块分割，得到分割数据块包括：
按照预设数据块的大小对所述目标数据执行数据块分割，其中，所述分割数据块的大小等于所述预设数据块的大小。
3.根据权利要求1所述的重复数据的删除方法，其特征在于，
基于所述分割数据块检测是否存在重复数据包括：
基于所述分割数据块在全局视图内是否存在重复数据。
4.根据权利要求1所述的重复数据的删除方法，其特征在于，在根据分布式存储的基本存储单元对目标数据执行数据块分割之后，得到多个分割数据块，
基于所述分割数据块检测是否存在重复数据包括：
对所述多个分割数据块对应的数据段分别执行计算，得到分别对应于所述多个分割数据块的指纹值；以及
通过判断所述多个分割数据块的指纹值是否在预设指纹数据库中存在检测是否存在重复数据。
5.根据权利要求4所述的重复数据的删除方法，其特征在于，对所述多个分割数据块对应的数据段分别执行计算，得到分别对应于所述多个分割数据块的指纹值之后，所述方法还包括：
判断是否存在无效指纹；以及
如果判断出存在无效的指纹，则删除无效的指纹。
6.根据权利要求1所述的重复数据的删除方法，其特征在于，在根据分布式存储的基本存储单元对目标数据执行数据块分割之后，得到多个分割数据块，
获取所述目标数据的元数据和所述多个分割数据块的元数据；以及
将所述目标数据的元数据和所述多个分割数据块的元数据存储至分布式存储的元数据中。
7.一种重复数据的删除装置，其特征在于，所述装置用于分布式存储的重复数据删除，所述装置包括：
分割模块，用于根据分布式存储的基本存储单元对目标数据执行数据块分割，得到分割数据块；
检测模块，用于基于所述分割数据块检测是否存在重复数据；以及
删除模块，用于在检测出存在重复数据时，删除重复数据。
8.根据权利要求7所述的重复数据的删除装置，其特征在于，所述分割模块用于按照预设数据块的大小对所述目标数据执行数据块分割，其中，所述分割数据块的大小等于所述预设数据块的大小。
9.根据权利要求7所述的重复数据的删除装置，其特征在于，所述检测模块用于基于所述分割数据块在全局视图内是否存在重复数据。
10.根据权利要求7所述的重复数据的删除装置，其特征在于，所述分割模块用于在根据分布式存储的基本存储单元对目标数据执行数据块分割之后，得到多个分割数据块，所述检测模块包括：
计算单元，用于对所述多个分割数据块对应的数据段分别执行计算，得到分别对应于所述多个分割数据块的指纹值；以及
检测单元，用于通过判断所述多个分割数据块的指纹值是否在预设指纹数据库中存在检测是否存在重复数据。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于星辰天合（北京）数据科技有限公司，未经星辰天合（北京）数据科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710640373.9/1.html，转载请声明来源钻瓜专利网。
