[发明专利]一种表连接查询方法、装置及存储介质有效

专利信息
申请号: 202110264828.8 申请日: 2021-03-11
公开(公告)号: CN113190577B 公开(公告)日: 2022-08-30
发明(设计)人: 吕征 申请(专利权)人: 新华三大数据技术有限公司
主分类号: G06F16/2453 分类号: G06F16/2453;G06F16/2455
代理公司: 暂无信息 代理人: 暂无信息
地址: 450000 河南省郑州市郑州高*** 国省代码: 河南;41
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 连接 查询 方法 装置 存储 介质
【权利要求书】:

1.一种表连接查询方法,其特征在于,所述方法包括:

解析表连接Join查询语句,得到Join查询语句中两个连接表的关系表达式;

根据预设的大小表区分规则将参加Join查询的连接表区分为大表和小表;

从小表的关系表达式中获取小表的表名、查询的字段以及过滤条件并下发到支持二级索引的HBase中间件,通过HBase中间件查询小表获得小表的查询结果数据即第一结果数据;所述第一结果数据中包括小表的查询列名和列值;当所述小表有过滤条件时,所述小表的过滤条件中的字段列为索引列;

使用小表的查询结果数据构造过滤条件,并结合大表的关系表达式构造获取大表数据的第三关系表达式;

从所述第三关系表达式中获取大表的表名、查询的字段和过滤条件并下发到支持二级索引的HBase中间件,通过HBase中间件查询大表获得大表的查询结果数据即第二结果数据;所述第二结果数据中包括大表的查询列名和列值;所述大表的Join列为索引列;

从所述第一结果数据和所述第二结果数据中分别获取Join列的值相等的记录,将获取的记录拼接后得到Join查询结果。

2.根据权利要求1所述的方法,其特征在于,

所述预设的大小表区分规则为:当两表都带有过滤条件或都不带过滤条件时,根据表存储文件大小区分大小表,表存储文件容量大的为大表,存储文件容量小的为小表;当只有其中一张表带有过滤条件时,将带过滤条件的表作为小表,将不带过滤条件的表作为大表。

3.根据权利要求1所述的方法,其特征在于,所述通过HBase中间件查询小表获得小表的查询结果数据即第一结果数据时,采用分批获取方式,即每次从小表中获取第一预设数量的查询结果数据作为第一结果数据;

相应地,所述通过HBase中间件查询大表获得大表的查询结果数据即第二结果数据时,也采用分批获取方式,即每次从大表中获取第二预设数量的查询结果数据作为第二结果数据;

在将所述第一结果数据和所述第二结果数据Join列的值相等的记录拼接后存入结果集合中,在通过第三关系表达式完成一批大表数据的获取后,判断是否获取完符合第三关系表达式的大表数据,如果没有,则再次获取下一批第二结果数据并再次与第一结果数据拼接后存入结果集合;如果已获取完大表数据,则继续判断是否获取完符合小表关系表达式的小表数据,如果已获取完小表数据,则将所述结果集合作为Join查询结果输出;如果未获取完小表数据,则继续获取下一批小表数据,根据新一批的小表数据再次构造新的第三关系表达式,再次执行大表数据的查询及后续拼接处理步骤。

4.根据权利要求3所述的方法,其特征在于,

当小表中的总记录数小于预设的门限时,一次性查询出所有符合小表的关系表达式的小表记录作为第一结果数据并将第一结果数据缓存在内存中;

基于第一结果数据构造过滤条件,并结合大表的关系表达式构造所述第三关系表达式后,采用一次性或分批获取的方式,通过HBase中间件获取符合第三关系表达式的大表数据,将分批获取的第二结果数据分别与第一结果数据拼接输出Join查询结果。

5.根据权利要求4所述的方法,其特征在于,

当所述Join查询中包括返回记录条数限制时,在完成所述拼接处理步骤后,还包括判断记录条数是否达到返回记录条数的限制,如果达到则直接输出Join查询结果,如果未达到则继续执行。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110264828.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top