[发明专利]一种面向分布式去重系统的数据路由方法有效

专利信息
申请号: 201310655727.9 申请日: 2013-12-06
公开(公告)号: CN103631933B 公开(公告)日: 2017-04-12
发明(设计)人: 刘厚贵;邢晶;霍志刚;安学军 申请(专利权)人: 中国科学院计算技术研究所
主分类号: G06F17/30 分类号: G06F17/30;H04L29/08
代理公司: 北京泛华伟业知识产权代理有限公司11280 代理人: 王勇
地址: 100190 北*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 面向 分布式 系统 数据 路由 方法
【权利要求书】:

1.一种面向分布式去重系统的数据路由方法,所述分布式去重系统包括摘要存储节点、去重节点,和与系统中其他节点通信的服务器,所述方法包括:

步骤1)、服务器将构成数据的所有数据块的指纹进行分类,并且将不同类别的指纹分别发送到存储相应类别指纹的数据摘要的不同摘要存储节点;

步骤2)、在所述摘要存储节点中查询接收到的指纹,得到该指纹在每个去重节点的命中分数,将该命中分数返回所述服务器;

步骤3)、所述服务器根据每个指纹在每个去重节点的命中分数得到每个去重节点的汇总分数,根据该汇总分数确定目标去重节点。

2.根据权利要求1所述的方法,步骤3)中,根据汇总分数确定目标去重节点包括:

所述服务器结合每个去重节点的存储状况和汇总分数来确定目标去重节点。

3.根据权利要求1或2所述的方法,其中,每个摘要存储节点存储每个去重节点已存储数据的所有数据块指纹中一类指纹的数据摘要,其中指纹类别的总数与摘要存储节点的个数相同。

4.根据权利要求1或2所述的方法,其中,所述摘要存储节点使用Bloom Filter来存储每个去重节点的数据摘要。

5.根据权利要求1或2所述的方法,在步骤1)中,服务器用所述摘要存储节点的个数对构成数据的所有数据块的指纹取模,将余数相同的指纹分为一类。

6.根据权利要求4所述的方法,其中,步骤2)包括:

步骤21)、在所述摘要存储节点中,使用存储每个去重节点的数据摘要的Bloom Filter所采用的哈希函数来计算接收到的指纹的哈希值;

步骤22)、根据该哈希值查询关于每个去重节点的Bloom Filter的对应位;

步骤23)、根据对应位计算命中分数;

步骤24)、将该命中分数返回所述服务器。

7.根据权利要求2所述的方法,其中,步骤3)包括:

步骤31)、对于每个去重节点,所述服务器计算所有指纹在该去重节点的命中分数的和,得到该去重节点的汇总分数;

步骤32)、所述服务器将每个去重节点的汇总分数与存储利用率的倒数加权求和,取值最大的去重节点作为目标去重节点。

8.根据权利要求1或2所述的方法,还包括:

步骤0)、服务器从客户端接收数据,将该数据进行分块,并且计算每个数据块的指纹。

9.根据权利要求1或2所述的方法,还包括:

步骤4)、所述服务器将所述数据发送到所述目标去重节点进行去重。

10.根据权利要求9所述的方法,还包括:

步骤5)、所述摘要存储节点更新所述目标去重节点的数据摘要。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201310655727.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top