[发明专利]基于iSCSI的重复数据删除方法无效
申请号: | 201110075210.3 | 申请日: | 2011-03-28 |
公开(公告)号: | CN102185889A | 公开(公告)日: | 2011-09-14 |
发明(设计)人: | 肖达;谭乐娟;姚文斌;王枞;陈钊;韩司 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 iscsi 重复 数据 删除 方法 | ||
1.一种基于iSCSI的重复数据删除方法,通过对要备份到IP存储网络中的数据块进行重复数据删除,以达到在不改变原系统的情况下减少传输所需带宽的目的,具体步骤为:
A.截获:通过iSCSI目标器截获发送端的iSCSI数据包,并过滤掉小数据块不对其进行删重处理;
B.相似块检测:对写数据块进行全盘范围的相似块检测,找到与之最相似的旧数据块;
C.重复数据删除:针对要写的新数据块和找到的最相似的旧数据块进行重复数据删除,生成差异数据块;
D.传输:将差异数据块通过iSCSI包封装并用iSCSI启动器上传到IP存储网络;
E.重构:接收端通过iSCSI目标器接收并解析传来的iSCSI包,根据删重后的数据块和已有的旧数据块重构新数据块并存入磁盘。
2.如权利要求1所述的重复数据删除方法,其特征在于:
所述相似块检测步骤,包括以下子步骤:
A.用CDC算法对要写的新数据块进行变长分块;
B.对子步骤A中的每一个子块计算等长的bloom filter序列,对所有的序列进行或运算,得到整个新块的bloom filter序列;
C.对本地磁盘上的bloom filter表进行顺序扫描,统计每一条记录的bloom filter序列与新数据块的bloom filter序列之间相同“1”位的比例,寻找比例最大并大于一定阈值的记录,若记录存在,则该记录相对应的旧数据块则为与新数据块最相似的数据块,执行子步骤D;否则则认为该新数据块不存在或存在少量的重复数据,不需要进行重复数据删除,转步骤E;
D.将最相似数据块的位置信息,包括偏移量和长度,传给重复数据删除模块;
E.更新bloom filter表,将新数据块的bloom filter序列加到表中,删除无效的记录,相似块检测结束。
3.如权利要求2所述的重复数据删除方法,其特征在于:
所述bloom filter表,记录的是旧数据块的bloom filter序列,由4个表项组成:
A.标志位:1字节,标志着该记录是否为有效记录,有效为0x00,无效为0xff;
B.偏移量:8字节,该记录对应的旧数据块在磁盘的偏移量;
C.块长度:4字节,该记录对应的旧数据块的长度;
D.bloom filter序列:固定长度m/8字节,该记录对应的旧数据块的bloom filter序列值。
4.如权利要求2或3所述的重复数据删除方法,其特征在于:
所述bloom filter序列的长度m/8字节,是由最大子块数n和给定的误判率p决定的;最大子块数n,是由最大写数据块的长度和CDC算法的平均块长度的比值决定的;假定k为计算bloom filter所需的hash函数个数,则时可以使p最小,bloom filter序列的长度则为比特。
5.如权利要求2所述的重复数据删除方法,其特征在于:
所述无效记录指的是当新数据块覆盖或者部分覆盖旧数据块的时候,旧数据块的记录就变成无效记录,删除方法是修改标志位为0xff。
6.如权利要求2所述的重复数据删除方法,其特征在于:
所述新记录的添加以空间回收利用为原则,优先覆盖无效记录,若无无效记录,则添加在表尾。
7.如权利要求1所述的重复数据删除方法,其特征在于:
所述重复数据删除步骤,包括以下子步骤:
A.对新数据块进行定长分块,长度为512字节;
B.计算所有子块的签名,签名值包括强弱校验和;
C.查找本地磁盘的签名表,根据步骤B给出的偏移量和长度找到最相似数据块的签名;
D.根据新数据块和旧数据块的签名,生成差异数据块,传给传输模块;
E.将新数据块的签名写入签名表,重复数据删除结束。
8.如权利要求7所述的重复数据删除方法,其特征在于:
所述签名表,是一个远端磁盘的签名全映射,每512字节的子块对应一个12字节的签名,所有的签名按偏移量顺序进行存放,一个大块的签名是组成该大块的各个子块签名的串联。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110075210.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置