[发明专利]一种多盘并发数据迁移方法、系统、装置及可读存储介质在审
申请号: | 201811215833.4 | 申请日: | 2018-10-18 |
公开(公告)号: | CN111078628A | 公开(公告)日: | 2020-04-28 |
发明(设计)人: | 霍道安;陈智 | 申请(专利权)人: | 深信服科技股份有限公司 |
主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F3/06 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518055 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 并发 数据 迁移 方法 系统 装置 可读 存储 介质 | ||
1.一种多盘并发数据迁移方法,其特征在于,应用于新GlusterFS,包括:
文件系统接收任务中心在同一时刻批量下发的多个数据迁移任务,并为每个所述数据迁移任务分别创建一个数据迁移协程;
每个所述数据迁移协程分别将各自对应的完整待迁移数据拆分为多个数据分片,并将各所述数据分片分配给相应数量的协程子任务;
每个所述数据迁移协程控制隶属于自身的各协程子任务以并行的方式同时执行数据迁移操作,并在隶属于自身的所有协程子任务均完成所述数据迁移操作后向副本组管理模块上报完成信号;
所述副本组管理模块根据所述完成信号更新相应完整待迁移数据的文件路由信息。
2.根据权利要求1所述的多盘并发数据迁移方法,其特征在于,每个所述数据迁移协程分别将各自对应的完整待迁移数据拆分为多个数据分片,包括:
每个所述数据迁移协程将各自对应的完整待迁移数据以预设数据分片大小进行拆分,得到多个所述数据分片。
3.根据权利要求1所述的多盘并发数据迁移方法,其特征在于,在每个所述数据迁移协程控制隶属于自身的各协程子任务以并行的方式同时执行数据迁移操作之前,还包括:
每个所述数据迁移协程为隶属于自身的每个协程子任务附加迁移状态标记;其中,所述迁移状态标记具体包括迁移进行标记和迁移完成标记。
4.根据权利要求3所述的多盘并发数据迁移方法,其特征在于,在隶属于自身的所有协程子任务均完成所述数据迁移操作后向副本组管理模块上报完成信号,包括:
当隶属于一个所述数据迁移协程中的所有协程子任务的迁移状态标记均表现为所述迁移完成标记时,所述数据迁移协程向所述副本组管理模块上报所述完成信号。
5.根据权利1至4任一项所述的多盘并发数据迁移方法,其特征在于,在所述副本组管理单元根据所述完成信号更新相应完整待迁移数据的文件路由信息之后,还包括:
所述文件系统回收返回了所述完成信号的数据迁移协程所占用的系统资源。
6.一种多盘并发数据迁移系统,其特征在于,应用于新GlusterFS,包括:
多任务接收和协程创建单元,用于文件系统接收任务中心在同一时刻批量下发的多个数据迁移任务,并为每个所述数据迁移任务分别创建一个数据迁移协程;
数据拆分和子任务分配单元,用于每个所述数据迁移协程分别将各自对应的完整待迁移数据拆分为多个数据分片,并将各所述数据分片分配给相应数量的协程子任务;
数据迁移并行执行单元,用于每个所述数据迁移协程控制隶属于自身的各协程子任务以并行的方式同时执行数据迁移操作,并在隶属于自身的所有协程子任务均完成所述数据迁移操作后向副本组管理模块上报完成信号;
文件路由信息更新单元,用于所述副本组管理模块根据所述完成信号更新相应完整待迁移数据的文件路由信息。
7.根据权利要求6所述的多盘并发数据迁移系统,其特征在于,所述数据拆分和子任务分配单元包括:
按预设数据分片大小拆分子单元,用于每个所述数据迁移协程将各自对应的完整待迁移数据以预设数据分片大小进行拆分,得到多个所述数据分片。
8.根据权利要求6所述的多盘并发数据迁移系统,其特征在于,还包括:
迁移状态标记附加单元,用于在每个所述数据迁移协程控制隶属于自身的各协程子任务以并行的方式同时执行数据迁移操作之前,每个所述数据迁移协程为隶属于自身的每个协程子任务附加迁移状态标记;其中,所述迁移状态标记具体包括迁移进行标记和迁移完成标记。
9.一种多盘并发数据迁移装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的多盘并发数据迁移方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的多盘并发数据迁移方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深信服科技股份有限公司,未经深信服科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811215833.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据采集方法、装置、存储介质及系统
- 下一篇:固体聚羧酸减水剂及其制备方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置