[发明专利]跨集群的访问方法、装置、设备及存储介质在审
申请号: | 202011483662.0 | 申请日: | 2020-12-15 |
公开(公告)号: | CN112597127A | 公开(公告)日: | 2021-04-02 |
发明(设计)人: | 黄李强;熊志强 | 申请(专利权)人: | 深圳市汉云科技有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/2458 |
代理公司: | 深圳市特讯知识产权代理事务所(普通合伙) 44653 | 代理人: | 何明生 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 集群 访问 方法 装置 设备 存储 介质 | ||
1.一种跨集群的访问方法,其特征在于,包括步骤:
接收N个数据初始表的数据查询指令,其中,N个所述数据初始表分布存储在M个数据集群中,N不小于M,N、M为正整数;
计算N个所述数据初始表对应的迁移成本值,以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和,得到M个所述数据集群对应的成本移除值;
加总N个所述数据初始表对应的迁移成本值,得到迁移总值,以及将所述迁移总值分别与M个所述数据集群对应的成本移除值相减,得到M个所述数据集群对应的集群迁移总值;
比较M个所述集群迁移总值,得到最小的集群迁移总值,并将所述集群迁移总值对应的数据集群确定为计算集群;
创建N个所述数据初始表对应的数据中转表在所述计算集群中,并将N个所述数据初始表中的数据复制到所述数据中转表中,并在所述计算集群中执行所述数据查询指令。
2.根据权利要求1所述的跨集群的访问方法,其特征在于,在所述接收N个数据初始表的数据查询指令之后,在所述计算N个所述数据初始表对应的迁移成本值,以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和,得到M个所述数据集群对应的成本移除值之前,包括:
判断所述数据查询指令是否满足预置SQL语言结构;
若不满足,则将无法进行数据查询的信息发送至预置端口;
若满足,则解析所述数据查询指令中的SQL链接,根据所述SQL链接,访问N个所述数据初始表。
3.根据权利要求1所述的跨集群的访问方法,其特征在于,所述计算N个所述数据初始表对应的迁移成本值,以及依次计算M个所述数据集群对应存储的所述数据初始表的迁移成本值总和,得到M个所述数据集群对应的成本移除值包括:
读取所述数据初始表对应的有效行数、平均行长度;
计算所述初始数据表对应的所述有效行数和所述平均行长度的乘积,得到所述初始数据表对应的迁移成本值;
依次将M个所述数据集群存储的所述数据初始表对应迁移成本值加总,得到M个所述数据集群对应的成本移除值。
4.根据权利要求1所述的跨集群的访问方法,其特征在于,所述创建N个所述数据初始表对应的数据中转表在所述计算集群中,并将N个所述数据初始表中的数据复制到所述数据中转表中,并在所述计算集群中执行所述数据查询指令包括:
读取所述计算集群中存储的L个数据初始表,并标记L个所述数据初始表,得到L个标记数据表,L为小于N的正整数;
将N个所述数据初始表中L个所述标记数据表移出,得到N个所述数据初始表中的N-L个非标记数据初始表;
在所述计算集群中创建N-L个所述非标记数据初始表对应的数据中转表,并将所述N-L个所述非标记数据初始表的数据复制到所述数据中转表中,在所述计算集群中执行所述数据查询指令。
5.根据权利要求4所述的跨集群的访问方法,其特征在于,所述在所述计算集群中创建N-L个所述非标记数据初始表对应的数据中转表,并将所述N-L个所述非标记数据初始表的数据复制到所述数据中转表中包括:
读取N-L个所述非标记数据初始表对应的验证字符串;
在所述计算集群中创建N-L个数据中转表,并将N-L个所述验证字符串一一对应写入N-L个所述数据中转表中;
根据所述验证字符串的匹配关系,将所述N-L个所述非标记数据初始表的数据复制到所述数据中转表中。
6.根据权利要求1所述的跨集群的访问方法,其特征在于,在所述创建N个所述数据初始表对应的数据中转表在所述计算集群中,并将N个所述数据初始表中的数据复制到所述数据中转表中,并在所述计算集群中执行所述数据查询指令之后,还包括:
接收终止查询指令,将所述计算集群中的所有所述数据中转表删除。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市汉云科技有限公司,未经深圳市汉云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011483662.0/1.html,转载请声明来源钻瓜专利网。