[发明专利]一种数据连接的方法、装置及电子设备有效
申请号: | 201910923118.4 | 申请日: | 2019-09-27 |
公开(公告)号: | CN110807030B | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 陈萌萌 | 申请(专利权)人: | 蚂蚁金服(杭州)网络技术有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455 |
代理公司: | 北京众达德权知识产权代理有限公司 11570 | 代理人: | 文季 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 连接 方法 装置 电子设备 | ||
本说明书公开了一种数据连接的方法、装置及电子设备,该方法包括:通过第一连接算法对第一数据集和第二数据集执行数据连接操作,以连接所述第一数据集与所述第二数据集中键值相等的数据;在第一连接算法执行过程中,获取第一连接算法执行过程中表征算法执行效率的执行参数;根据执行参数将第一连接算法切换为第二连接算法,通过第二连接算法继续执行数据连接操作。上述技术方案,在数据连接过程中依据算法执行状态实现了连接算法的自动切换。
技术领域
本说明书涉及软件技术领域,特别涉及一种数据连接的方法、装置及电子设备。
背景技术
连接(Join)是将两个数据关联在一起,例如对于数据A和B连接之后可以形成数据A-B,用于进行数据查询、文件关联等,是数据库的基本关系代数运算之一,在数据库实现中有着广泛的应用场景。连接算法的实现直接影响着连接算子(Join Operator)的实现效率,且对整个数据库的性能有着至关重要的影响。常见的连接算法(Join Algorithm)包括嵌套连接(Nested-Loop Join)合并连接(Merge Join)、哈希连接(Hash Join)等。相对于合并连接,还出现了一种之字形合并连接(Zigzag Merge Join)。
合并连接:针对两个数据集,通常将其中一个数据集中的数据称为左侧输入,另一个数据集中的数据集称为右侧输入,在左右两侧的输入按照连接键有序的情况下,通过依次访问左右两侧输入的记录完成所需要的数据连接操作,由于要求严苛大部分场景下执行效率较低。之字形合并连接:一种合并连接的实现变种,之字形合并连接利用左右侧输入的索引结构,通过左右两侧的输入键值交替定位另一侧的数据,达到避免访问左右两侧无效数据的效果,但是,由于之字形合并连接在访问下一行的时候采用了查找操作,在大部分数据有效的时候,查找的代价比顺序访问的代价反而更高,导致之字形合并连接的效率大大降低。即无论使用合并连接还是使用之字形合并连接,都存在执行效率低下的问题,亟需一种提高数据连接执行效率的方法。
发明内容
本说明书实施例提供一种数据连接的方法、装置及电子设备,用于解决现有技术中数据连接执行效率较低的技术问题。
第一方面,本说明书实施例提供一种数据连接的方法,所述方法包括:
通过第一连接算法对第一数据集和第二数据集执行数据连接操作,以连接所述第一数据集与所述第二数据集中键值相等的数据;
在所述第一连接算法的执行过程中,获取所述第一连接算法的执行参数,所述执行参数用于表征算法执行过程的执行效率;
根据所述执行参数将所述第一连接算法切换为第二连接算法,通过所述第二连接算法继续执行所述数据连接操作,其中,所述第二连接算法与所述第一连接算法不同。
可选的,所述获取所述第一连接算法的执行参数,包括:
当所述第一连接算法为合并连接算法时,获取所述合并连接算法连续访问一个数据集中数据行的行数作为所述执行参数;或者,
当所述第一连接算法为之字形合并连接算法时,获取所述之字形合并连接算法跳过的数据行的行数作为执行参数。
可选的,所述获取所述第一连接算法的执行参数,包括:
当所述第一连接算法为合并连接算法时,每出现一次连续读取一个数据集中的数据行则对所述执行参数的值加上预设步长,反之,对所述执行参数的值减去所述预设步长;
当所述第一连接算法为之字形合并连接算法时,每出现一次查找到的数据行与在前读取的数据行的下一行相同时对所述执行参数的值加上所述预设步长,反之,对所述执行参数的值减去所述预设步长。
可选的,所述当所述第一连接算法为合并连接算法时,每出现一次连续读取一个数据集中的数据行则对所述执行参数的值加上预设步长,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于蚂蚁金服(杭州)网络技术有限公司,未经蚂蚁金服(杭州)网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910923118.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种三层混编三明治纬编布
- 下一篇:工件校正系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置