[发明专利]跨集群的访问方法、装置、设备及存储介质

说明书

本发明涉及数据迁移领域，公开了一种跨集群的访问方法、装置、设备及存储介质。该方法包括：接收N个数据初始表的数据查询指令；计算N个数据初始表对应的迁移成本值，以及依次计算M个数据集群对应存储的数据初始表的迁移成本值总和，得到M个数据集群对应的成本移除值；加总N个数据初始表对应的迁移成本值，得到迁移总值，以及将迁移总值分别与M个数据集群对应的成本移除值相减，得到M个数据集群对应的集群迁移总值；比较M个集群迁移总值，得到最小的集群迁移总值，并将集群迁移总值对应的数据集群确定为计算集群；创建N个数据初始表对应的数据中转表在计算集群中，并将N个数据初始表中的数据复制到数据中转表中。

技术领域

本发明涉及数据迁移领域，尤其涉及一种跨集群的访问方法、装置、设备及存储介质。

背景技术

数据处理过程中，数据越来越多的被政府和企业使用，大量数据被存储在各类数据库中。在数据实际使用中，大量数据分布在各个地点的数据库中。导致在查询和调用数据时，各类集群中进行相互调用，数据迁移会出现大量跨集群的访问。如果是突然增大数据量访问的情况下，各类调用访问极容易导致系统崩溃。

在数据相互调用情况下，跨集群数据访问的性能和安全性都存在一定问题，不仅效率不高，而且各种重复的数据迁移导致成本居高不下，性能影响十分严重，调用各类接口和协议也直接影响跨集群的传输安全，因此需要一种能保证性能与传输安全的技术问题。

发明内容

本发明的主要目的在于解决现有跨集群数据传输过程中性能低下且不安全的技术问题。

本发明第一方面提供了一种跨集群的访问方法，所述跨集群的访问方法包括：

接收N个数据初始表的数据查询指令，其中，N个所述数据初始表分布存储在M个数据集群中，N不小于M，N、M为正整数；

计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值；

加总N个所述数据初始表对应的迁移成本值，得到迁移总值，以及将所述迁移总值分别与M个所述数据集群对应的成本移除值相减，得到M个所述数据集群对应的集群迁移总值；

比较M个所述集群迁移总值，得到最小的集群迁移总值，并将所述集群迁移总值对应的数据集群确定为计算集群；

创建N个所述数据初始表对应的数据中转表在所述计算集群中，并将N个所述数据初始表中的数据复制到所述数据中转表中，并在所述计算集群中执行所述数据查询指令。

可选的，在本发明第一方面的第一种实现方式中，在所述接收N个数据初始表的数据查询指令之后，在所述计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值之前，包括：

判断所述数据查询指令是否满足预置SQL语言结构；

若不满足，则将无法进行数据查询的信息发送至预置端口；

若满足，则解析所述数据查询指令中的SQL链接，根据所述SQL链接，访问N个所述数据初始表。

可选的，在本发明第一方面的第二种实现方式中，所述计算N个所述数据初始表对应的迁移成本值，以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和，得到M个所述数据集群对应的成本移除值包括：

读取所述数据初始表对应的有效行数、平均行长度；

计算所述初始数据表对应的所述有效行数和所述平均行长度的乘积，得到所述初始数据表对应的迁移成本值；

依次将M个所述数据集群存储的所述数据初始表对应迁移成本值加总，得到M个所述数据集群对应的成本移除值。