[发明专利]数据段单元传输差异化管理方法和分布式块存储系统有效
申请号: | 202010603735.9 | 申请日: | 2020-06-29 |
公开(公告)号: | CN111506271B | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 冯钦;童颖睿;陈靓 | 申请(专利权)人: | 南京鹏云网络科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 江苏瑞途律师事务所 32346 | 代理人: | 徐倩 |
地址: | 210008 江苏省*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 单元 传输 异化 管理 方法 分布式 存储系统 | ||
1.一种数据段单元传输差异化管理方法,其特征在于:包括以下步骤:
S1、将若干数据段单元分组,所分的组的数量在[M/20]和[M/10]之间,且为整数,其中,M是一个组内所能管理的数据段单元的数量的最大值;
S2、将一个数据段单元归入其所属的组,所述步骤S2具体为:查找与Y相关的组ID,其中,Y为X/M后得到的余数,X是需要放入组内的数据段单元的ID,然后将该数据段单元放在查找到的组中进行管理;
S3、如果步骤S2中的数据段单元所属的组内的元数据的总量大于C,则对该组进行再次分组,C是上报给信息管理服务节点的最大数据包的大小;
S4、如果两个组内的元数据分别大于C/20且小于C /5,则将该两个组合并成一个组;
S5、将数据段单元以组为单位上报给信息管理服务节点。
2.根据权利要求1所述的数据段单元传输差异化管理方法,其特征在于:在进行数据段单元的上报时,还包括以下步骤:
S21、将当前组内所有的数据段单元内的元数据进行哈希变换得到哈希值,将每一个数据段单元的哈希值和上一次上报的该数据段单元的哈希值进行比较;
S22、若两次哈希值相等,则只上报当前组内的数据段单元的ID给信息管理服务节点;
S23、若两次哈希值不相等,则将哈希值不相等的数据段单元内的元数据全部上报给信息管理服务节点。
3.根据权利要求2所述的数据段单元传输差异化管理方法,其特征在于:如果当前组的元数据为第一次上报,则将数据段单元内的元数据进行哈希变换后得到的哈希值和G进行比较,其中G为非正整数。
4.根据权利要求3所述的数据段单元传输差异化管理方法,其特征在于:所述查找在红黑树中进行。
5.根据权利要求1-4中任一权利要求所述的数据段单元传输差异化管理方法,其特征在于:步骤S1中将若干数据段单元分成两组。
6.根据权利要求5所述的数据段单元传输差异化管理方法,其特征在于:数据段单元分成的两个组的组ID分别为M/2和M,其中,M为偶数;或(M+1)/2和M,其中,M为奇数;
或,两个组的组ID分别为1和M/2,其中,M为偶数;或1和(M+1)/2,其中,M为奇数。
7.根据权利要求6所述的数据段单元传输差异化管理方法,其特征在于:如果数据段单元分成的两个组的组ID分别为M/2和M,其中,M为偶数,或(M+1)/2和M,其中,M为奇数,则在红黑树中查找组ID大于等于Y的组,然后将数据段单元放入查找到的组中;
或者,
如果数据段单元分成的两个组的组ID分别为1和M/2,其中,M为偶数,或1和(M+1)/2,其中,M为奇数,则查找组ID小于等于Y的组,然后将数据段单元放入查找到的组中,其中,Y为X/M后得到的余数,X是需要放入组内的数据段单元的ID。
8.一种分布式块存储系统,其特征在于:用于实现权利要求1-7中任一权利要求所述的数据段单元传输差异化管理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京鹏云网络科技有限公司,未经南京鹏云网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010603735.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置