[发明专利]数据迁移方法、装置、计算设备及存储介质在审
申请号: | 202310450834.1 | 申请日: | 2023-04-24 |
公开(公告)号: | CN116501255A | 公开(公告)日: | 2023-07-28 |
发明(设计)人: | 刘易;何钧;乔立;梁松涛 | 申请(专利权)人: | 上海哔哩哔哩科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/30 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 宋菲 |
地址: | 200433 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 迁移 方法 装置 计算 设备 存储 介质 | ||
1.一种数据迁移方法,所述方法包括:
根据第一存储集群中的待迁移数据的存储位置信息,对所述待迁移数据进行分组,得到至少一个待迁移数据分组;
将所述至少一个待迁移数据分组的元数据信息聚合到至少一个条带中;其中,一个条带包含一个或多个待迁移数据分组的元数据信息;
针对于任一条带,根据该条带包含的元数据信息确定一个或多个待迁移数据分组在第一存储集群的目标存储位置信息;
根据所述目标存储位置信息,从所述第一存储集群中读取一个或多个待迁移数据分组对应的目标数据并存储到第二存储集群中。
2.根据权利要求1所述的方法,其中,所述将所述至少一个待迁移数据分组的元数据信息聚合到至少一个条带中进一步包括:
根据所述至少一个待迁移数据分组的分组信息和/或数据大小信息,将所述至少一个待迁移数据分组的元数据信息聚合到至少一个条带中。
3.根据权利要求1所述的方法,其中,所述从所述第一存储集群中读取一个或多个待迁移数据分组对应的目标数据进一步包括:
按照迁移限速从所述第一存储集群中读取目标数据;
其中,中间件监控所述第一存储集群的性能指标并根据所述性能指标动态调整所述迁移限速。
4.根据权利要求3所述的方法,其中,所述性能指标包括:网络带宽和/或系统负载。
5.根据权利要求1-4中任一项所述的方法,其中,在所述从所述第一存储集群中读取一个或多个待迁移数据分组对应的目标数据并存储到第二存储集群中之后,所述方法还包括:
校验所述第二存储集群中的目标数据与所述第一存储集群中与所述目标数据对应的待迁移数据是否一致;
若是,将所述目标数据在所述第二存储集群中的存储位置信息更新到所述第一存储集群中,以供所述第一存储集群在接收到针对所述目标数据对应的待迁移数据的读取请求之后,将所述读取请求转发至第二存储集群。
6.根据权利要求5所述的方法,其中,所述方法还包括:
在校验一致的情况下,第一存储集群将与所述目标数据对应的待迁移数据进行删除。
7.根据权利要求1-6中任一项所述的方法,其中,所述从所述第一存储集群中读取一个或多个待迁移数据分组对应的目标数据之后,所述方法进一步包括:
按照预设编码方式对所述目标数据进行编码,得到所述目标数据的待比对校验信息;
将所述目标数据的待比对校验信息存储到第二存储集群中;
所述校验所述第二存储集群中的目标数据与所述第一存储集群中与所述目标数据对应的待迁移数据是否一致进一步包括:
比对所述目标数据的待比对校验信息与所述第一存储集群中与所述目标数据对应的待迁移数据的校验信息是否一致。
8.根据权利要求1-7中任一项所述的方法,其中,在所述根据第一存储集群中的待迁移数据的存储位置信息,对所述待迁移数据进行分组,得到至少一个待迁移数据分组之前,所述方法进一步包括:
第一存储集群筛选当前批次各个存储节点的待迁移数据。
9.一种数据迁移装置,所述装置包括:
分组模块,适于根据第一存储集群中的待迁移数据的存储位置信息,对所述待迁移数据进行分组,得到至少一个待迁移数据分组;
聚合模块,适于将所述至少一个待迁移数据分组的元数据信息聚合到至少一个条带中;其中,一个条带包含一个或多个待迁移数据分组的元数据信息;
读取模块,适于针对于任一条带,根据该条带包含的元数据信息确定一个或多个待迁移数据分组在第一存储集群的目标存储位置信息;根据所述目标存储位置信息,从所述第一存储集群中读取一个或多个待迁移数据分组对应的目标数据;
存储模块,适于将所述目标数据存储到第二存储集群中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海哔哩哔哩科技有限公司,未经上海哔哩哔哩科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310450834.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:煤矿导水陷落柱综合勘察治理方法
- 下一篇:一种公路装配式波形钢箱拱型通道结构
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置