[发明专利]基于iSCSI的重复数据删除方法无效

专利信息
申请号: 201110075210.3 申请日: 2011-03-28
公开(公告)号: CN102185889A 公开(公告)日: 2011-09-14
发明(设计)人: 肖达;谭乐娟;姚文斌;王枞;陈钊;韩司 申请(专利权)人: 北京邮电大学
主分类号: H04L29/08 分类号: H04L29/08
代理公司: 暂无信息 代理人: 暂无信息
地址: 100876 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 iscsi 重复 数据 删除 方法
【权利要求书】:

1.一种基于iSCSI的重复数据删除方法,通过对要备份到IP存储网络中的数据块进行重复数据删除,以达到在不改变原系统的情况下减少传输所需带宽的目的,具体步骤为:

A.截获:通过iSCSI目标器截获发送端的iSCSI数据包,并过滤掉小数据块不对其进行删重处理;

B.相似块检测:对写数据块进行全盘范围的相似块检测,找到与之最相似的旧数据块;

C.重复数据删除:针对要写的新数据块和找到的最相似的旧数据块进行重复数据删除,生成差异数据块;

D.传输:将差异数据块通过iSCSI包封装并用iSCSI启动器上传到IP存储网络;

E.重构:接收端通过iSCSI目标器接收并解析传来的iSCSI包,根据删重后的数据块和已有的旧数据块重构新数据块并存入磁盘。

2.如权利要求1所述的重复数据删除方法,其特征在于:

所述相似块检测步骤,包括以下子步骤:

A.用CDC算法对要写的新数据块进行变长分块;

B.对子步骤A中的每一个子块计算等长的bloom filter序列,对所有的序列进行或运算,得到整个新块的bloom filter序列;

C.对本地磁盘上的bloom filter表进行顺序扫描,统计每一条记录的bloom filter序列与新数据块的bloom filter序列之间相同“1”位的比例,寻找比例最大并大于一定阈值的记录,若记录存在,则该记录相对应的旧数据块则为与新数据块最相似的数据块,执行子步骤D;否则则认为该新数据块不存在或存在少量的重复数据,不需要进行重复数据删除,转步骤E;

D.将最相似数据块的位置信息,包括偏移量和长度,传给重复数据删除模块;

E.更新bloom filter表,将新数据块的bloom filter序列加到表中,删除无效的记录,相似块检测结束。

3.如权利要求2所述的重复数据删除方法,其特征在于:

所述bloom filter表,记录的是旧数据块的bloom filter序列,由4个表项组成:

A.标志位:1字节,标志着该记录是否为有效记录,有效为0x00,无效为0xff;

B.偏移量:8字节,该记录对应的旧数据块在磁盘的偏移量;

C.块长度:4字节,该记录对应的旧数据块的长度;

D.bloom filter序列:固定长度m/8字节,该记录对应的旧数据块的bloom filter序列值。

4.如权利要求2或3所述的重复数据删除方法,其特征在于:

所述bloom filter序列的长度m/8字节,是由最大子块数n和给定的误判率p决定的;最大子块数n,是由最大写数据块的长度和CDC算法的平均块长度的比值决定的;假定k为计算bloom filter所需的hash函数个数,则时可以使p最小,bloom filter序列的长度则为比特。

5.如权利要求2所述的重复数据删除方法,其特征在于:

所述无效记录指的是当新数据块覆盖或者部分覆盖旧数据块的时候,旧数据块的记录就变成无效记录,删除方法是修改标志位为0xff。

6.如权利要求2所述的重复数据删除方法,其特征在于:

所述新记录的添加以空间回收利用为原则,优先覆盖无效记录,若无无效记录,则添加在表尾。

7.如权利要求1所述的重复数据删除方法,其特征在于:

所述重复数据删除步骤,包括以下子步骤:

A.对新数据块进行定长分块,长度为512字节;

B.计算所有子块的签名,签名值包括强弱校验和;

C.查找本地磁盘的签名表,根据步骤B给出的偏移量和长度找到最相似数据块的签名;

D.根据新数据块和旧数据块的签名,生成差异数据块,传给传输模块;

E.将新数据块的签名写入签名表,重复数据删除结束。

8.如权利要求7所述的重复数据删除方法,其特征在于:

所述签名表,是一个远端磁盘的签名全映射,每512字节的子块对应一个12字节的签名,所有的签名按偏移量顺序进行存放,一个大块的签名是组成该大块的各个子块签名的串联。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201110075210.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top