[发明专利]一种数据迁移的方法以及数据节点有效
申请号: | 201710495228.6 | 申请日: | 2017-06-26 |
公开(公告)号: | CN109144972B | 公开(公告)日: | 2022-07-12 |
发明(设计)人: | 涂屹;朱建峰;智雅楠 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/27;G06F9/50 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 迁移 方法 以及 节点 | ||
本申请实施例公开了一种数据迁移的方法,用于无需等待目标数据从第一数据节点向第二数据节点迁移完成就可以迁移负载,降低时延。本申请实施例方法包括:第二数据节点接收第一数据节点发送的关于目标数据的数据迁移请求,数据迁移请求包含目标数据在第一数据节点中的内存地址;根据数据迁移请求建立RDMA虚拟内存空间,RDMA虚拟内存空间的内存地址映射到第一数据节点的内存地址,RDMA虚拟内存空间用于第二数据节点根据目标操作请求通过RDMA访问第一数据节点上的目标数据;向管理节点发送修改元数据的指令,修改元数据的指令用于管理节点修改元数据,以使得访问目标数据的目标操作请求路由到第二数据节点;接收并存储第一数据节点发送的目标数据。
技术领域
本申请涉及计算机领域,尤其涉及一种数据迁移的方法、第一数据节点以及第二数据节点。
背景技术
随着数据库技术的不断发展,用户对于数据库的扩展能力,容灾能力的要求不断提升,分布式数据库已经越来越受到用户的欢迎。
在现有的负载均衡中,要将第一数据节点上的一些数据(可称为目标数据或者迁移数据)迁移到第二数据节点上。在数据迁移发生前,服务器对第一数据节点有一些访问流(如读/写请求);在数据迁移过程中,服务器对目标数据的访问仍然集中在第一数据节点上;在数据迁移结束后,服务器对目标数据的访问会切换到第二数据节点上。
但是,关于目标数据的负载需要等到数据复制完以后,即数据都复制到第二数据节点上,才能将目标数据的负载切换到第二数据节点,负载迁移速度较慢;目标数据需要先复制到内核缓冲区,再发送到网络上向第二数据节点传输,对CPU资源消耗很大,会影响第一数据节点处理其他负载的性能,且目标数据传输速度较慢,时延较大。
发明内容
本申请实施例提供了一种数据迁移的方法以及数据节点,用于无需等待目标数据从第一数据节点向第二数据节点迁移完成就可以迁移负载,提升负载迁移的速度,降低时延。
本申请实施例第一方面提供一种数据迁移的方法,可以包括:在负载均衡的方案中,第二数据节点接收第一数据节点发送的关于目标数据的数据迁移请求,该数据迁移请求包含该目标数据在该第一数据节点中的内存地址;应理解,目标数据可以是第一数据节点上的热点数据,热点数据可以为经常访问或者访问次数超过特定阈值的数据。该第二数据节点根据该数据迁移请求建立远程直接内存访问RDMA虚拟内存空间,该RDMA虚拟内存空间的内存地址映射到该第一数据节点的内存地址,该RDMA虚拟内存空间用于该第二数据节点根据目标操作请求通过RDMA访问该第一数据节点上的目标数据;该第二数据节点向管理节点发送修改元数据的指令,该修改元数据的指令用于该管理节点修改该元数据,以使得访问该目标数据的目标操作请求路由到该第二数据节点;这里的目标操作请求可以是对目标数据的负载或者访问。元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。该第二数据节点接收并存储该第一数据节点发送的该目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710495228.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:设备绑定方法及匹配系统
- 下一篇:一种将数据模型向数据库结构进行转化的方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置