[发明专利]跨集群数据迁移方法和系统

摘要

本发明实施例提供一种跨集群数据迁移方法和系统。通过使源集群的各子节点停止数据操作，以及将源集群的分布式数据库的内存中的数据持久化，能够实现迁移前源集群的分布式数据库中的数据持久化；通过对源集群的分布式数据库中的数据表进行压缩，能够减小数据传送量，将源集群的分布式数据库中的压缩后的数据表迁移至目标集群中，提高了迁移效率；然后通过将迁移前的源集群的分布式数据库中的数据表所占用的存储空间大小及总文件块数，与迁移后的目标集群的数据表占有的存储空间大小和总文件块数进行匹配，能够根据匹配结果验证迁移的完整性。

主权项

一种跨集群数据迁移方法，其特征在于，包括：源集群的主控节点调用停止命令控制源集群的各子节点停止数据操作；源集群的主控节点利用源集群的分布式数据库的清空缓冲区组件，将所述分布式数据库内存中的数据持久化到分布式文件系统HDFS中；源集群的主控节点对源集群的分布式数据库所包含的数据表，采用设定的压缩算法进行压缩；源集群的主控节点统计源集群的分布式数据库中的数据表所占用的HDFS的第一存储空间大小及第一总文件块数；源集群的主控节点基于预先获取的目标集群所包含的节点的IP地址与主机名称的映射关系，将源集群中分布式数据库中的数据表迁移至所述目标集群的分布式数据库中；如果获取到源集群的映射化简进程的网页管理界面返回的数据迁移完成消息，则目标集群的主控节点统计目标集群的分布式数据库中的数据表占有的对应的HDFS的第二存储空间大小和第二总文件块数，并将所述第二存储空间大小和第二总文件块数与所述第一存储空间大小和所述第一总文件块数匹配；如果匹配成功，则目标集群的主控节点采用与所述设定的压缩算法对应的解压算法对迁移至目标集群中的数据表进行解压；目标集群的主控节点基于启动策略，启动所述目标集群。