[发明专利]一种面向分布式去重系统的数据路由方法有效
申请号: | 201310655727.9 | 申请日: | 2013-12-06 |
公开(公告)号: | CN103631933B | 公开(公告)日: | 2017-04-12 |
发明(设计)人: | 刘厚贵;邢晶;霍志刚;安学军 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;H04L29/08 |
代理公司: | 北京泛华伟业知识产权代理有限公司11280 | 代理人: | 王勇 |
地址: | 100190 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 分布式 系统 数据 路由 方法 | ||
1.一种面向分布式去重系统的数据路由方法,所述分布式去重系统包括摘要存储节点、去重节点,和与系统中其他节点通信的服务器,所述方法包括:
步骤1)、服务器将构成数据的所有数据块的指纹进行分类,并且将不同类别的指纹分别发送到存储相应类别指纹的数据摘要的不同摘要存储节点;
步骤2)、在所述摘要存储节点中查询接收到的指纹,得到该指纹在每个去重节点的命中分数,将该命中分数返回所述服务器;
步骤3)、所述服务器根据每个指纹在每个去重节点的命中分数得到每个去重节点的汇总分数,根据该汇总分数确定目标去重节点。
2.根据权利要求1所述的方法,步骤3)中,根据汇总分数确定目标去重节点包括:
所述服务器结合每个去重节点的存储状况和汇总分数来确定目标去重节点。
3.根据权利要求1或2所述的方法,其中,每个摘要存储节点存储每个去重节点已存储数据的所有数据块指纹中一类指纹的数据摘要,其中指纹类别的总数与摘要存储节点的个数相同。
4.根据权利要求1或2所述的方法,其中,所述摘要存储节点使用Bloom Filter来存储每个去重节点的数据摘要。
5.根据权利要求1或2所述的方法,在步骤1)中,服务器用所述摘要存储节点的个数对构成数据的所有数据块的指纹取模,将余数相同的指纹分为一类。
6.根据权利要求4所述的方法,其中,步骤2)包括:
步骤21)、在所述摘要存储节点中,使用存储每个去重节点的数据摘要的Bloom Filter所采用的哈希函数来计算接收到的指纹的哈希值;
步骤22)、根据该哈希值查询关于每个去重节点的Bloom Filter的对应位;
步骤23)、根据对应位计算命中分数;
步骤24)、将该命中分数返回所述服务器。
7.根据权利要求2所述的方法,其中,步骤3)包括:
步骤31)、对于每个去重节点,所述服务器计算所有指纹在该去重节点的命中分数的和,得到该去重节点的汇总分数;
步骤32)、所述服务器将每个去重节点的汇总分数与存储利用率的倒数加权求和,取值最大的去重节点作为目标去重节点。
8.根据权利要求1或2所述的方法,还包括:
步骤0)、服务器从客户端接收数据,将该数据进行分块,并且计算每个数据块的指纹。
9.根据权利要求1或2所述的方法,还包括:
步骤4)、所述服务器将所述数据发送到所述目标去重节点进行去重。
10.根据权利要求9所述的方法,还包括:
步骤5)、所述摘要存储节点更新所述目标去重节点的数据摘要。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310655727.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于大输液软袋生产线的上接口装置
- 下一篇:一种轨道车辆防爬缓冲结构
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置