[发明专利]一种实现多集群间联合查询和快速数据迁移的方法

权利要求书

1.一种实现多集群间联合查询和快速数据迁移的方法，其特征在于，包括：

将每个用户的数据进行单独隔离，形成虚拟集群；

每个虚拟集群为一个单独的子集群，每个子集群包含多种业务数据；

多个子集群由同一个coordinator集群统一管理；

多个子集群还均连接元数据集群，所述元数据集群存储着每个子集群的元数据。

2.根据权利要求1所述的实现多集群间联合查询和快速数据迁移的方法，其特征在于：

每个所述虚拟集群包括多个存储单元以及与对应存储单元通信连接的计算单元；

每个所述计算单元还包括异步处理单元。

3.根据权利要求1所述的实现多集群间联合查询和快速数据迁移的方法，其特征在于，多个虚拟集群间数据流转的方法如下：

S1、虚拟集群二接收抽取任务；

S2、把任务发送给虚拟集群二的计算单元：

S3、本地扫描数据，找到所需的数据行；

S4、分批物化一定行数数据，发送给异步发送单元；

S5、继续物化数据：

S6、等待所有数据发送完。

4.根据权利要求3所述的实现多集群间联合查询和快速数据迁移的方法，其特征在于，异步处理单元进行异步发送的方法如下：

S401、异步处理接收处理任务：

S402、访问公共元数据集群，得到目标表在虚拟集群一的数据分布信息；

S403、计算得到每行数据在虚拟机群一的目标节点和表分片；

S404、把数据行依次推送到目标节点、目标表分片的发送队列；

S405、当队列中的数据达到设定行数时，压缩数据块，并发给目标虚拟集群的对应计算单元；

S407、虚拟集群一的计算单元接收数据，并直接存储到本地。