[发明专利]跨集群数据迁移方法和系统

说明书

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种跨集群数据迁移方法和系统。

背景技术

随着互联网应用的发展，用户量的激增，数据存储数量呈指数递增，传统的单库存储技术无法满足海量数据的存取需求，HDFS(Hadoop Distributed File System，分布式文件系统)和分布式数据库应用而生。

HBase(Hadoop Database，分布式数据库)是一种可扩展的、面向列存储的分布式数据库，利用HDFS作为文件存储系统，以数据表的形式存储数据，能在普通硬件环境基础上支撑十亿量级行、百万量级列的大型数据表，并支持对这种规模的数据进行随机存储和读取操作。由于具有高可靠性、高可扩展性、支持随机存取以及支持MapReduce(映射化简)并行计算，因此得到了广泛应用。其中，Hadoop是一个由“Apache”基金会开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力实现高速运算和海量数据的存取。

实际应用过程中，不可避免地涉及数据迁移，尤其是当线上某个HBase集群需要下线，或者机房维护搬迁的时候，都会面临海量数据迁移的紧迫任务，即把老集群的数据表迁移到新集群中继续为接入业务方提供海量数据存取服务。

现有的数据迁移技术，通常采用Hadoop的数据拷贝组件进行分布式拷贝，从而达到将一个集群中的数据表迁移到新集群的目的。当数据拷贝完成后，启动新集群相关服务进程。

上述数据迁移技术存在的缺陷在于：无法保证迁移后数据的完整性；迁移耗时严格依赖于迁移数据的规模，导致迁移所用时间很难控制，如果集群间网络带宽有限，同时迁移数据又多，很难保证在短暂的迁移窗口完成迁移工作，也即迁移效率低。

发明内容

本发明实施例提供一种跨集群数据迁移方法和系统，以确保跨集群数据迁移的完整性和高效性。

第一方面，本发明实施例提供了一种跨集群数据迁移方法，包括：

源集群的主控节点调用停止命令控制源集群的各子节点停止数据操作；

源集群的主控节点利用源集群的分布式数据库的清空缓冲区组件，将所述分布式数据库内存中的数据持久化到分布式文件系统HDFS中；

源集群的主控节点控制对源集群的分布式数据库所包含的数据表，采用设定的压缩算法进行压缩；

源集群的主控节点统计源集群的分布式数据库中的数据表所占用的HDFS的第一存储空间大小及第一总文件块数；

源集群的主控节点基于预先获取的目标集群所包含的节点的IP地址与主机名称的映射关系，将源集群中分布式数据库中的数据表迁移至所述目标集群的分布式数据库中；

如果获取到源集群的映射化简进程的网页管理界面返回的数据迁移完成消息，则目标集群的主控节点统计目标集群的分布式数据库中的数据表占有的对应的HDFS的第二存储空间大小和第二总文件块数，并将所述第二存储空间大小和第二总文件块数与所述第一存储空间大小和所述第一总文件块数匹配；

如果匹配成功，则目标集群的主控节点采用与所述设定的压缩算法对应的解压算法对迁移至目标集群中的数据表进行解压；

目标集群的主控节点基于启动策略，启动所述目标集群。

第二方面，本发明实施例还提供了一种跨集群数据迁移系统，包括源集群和目标集群，所述源集群包括主控节点和至少一个子节点，所述目标集群包括主控节点和至少一个子节点；

所述源集群的主控节点包括：

停止模块，用于调用停止命令控制源集群的各子节点停止数据操作；

持久化模块，用于利用源集群的分布式数据库的清空缓冲区组件，将所述分布式数据库内存中的数据持久化到分布式文件系统HDFS中；

压缩模块，用于对源集群的分布式数据库所包含的数据表，采用设定的压缩算法进行压缩；

统计模块，用于统计源集群的分布式数据库中的数据表所占用的HDFS的第一存储空间大小及第一总文件块数；

迁移模块，用于基于预先获取的目标集群所包含的节点的IP地址与主机名称的映射关系，将源集群中分布式数据库中的数据表迁移至所述目标集群的分布式数据库中；

所述目标集群的主控节点包括：