[发明专利]用于数据库表连接的过滤器传输方法、装置及系统有效
申请号: | 202110912299.8 | 申请日: | 2021-08-10 |
公开(公告)号: | CN113360507B | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 唐铭豆;刘彬;余璜;潘毅 | 申请(专利权)人: | 北京奥星贝斯科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/27 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 林锦辉;刘景峰 |
地址: | 100020 北京市朝阳区东三*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 数据库 连接 过滤器 传输 方法 装置 系统 | ||
1.一种用于分布式数据库的表连接的过滤器传输方法,所述表连接的被驱动表存储在至少两个被驱动表存储节点处,所述过滤器传输方法由一个被驱动表存储节点执行,所述过滤器传输方法包括:
基于分组传输获取至少两个表连接节点中的部分表连接节点的局部Bloom过滤器,各个表连接节点的局部Bloom过滤器分别基于驱动表的部分行数据创建,所述分组传输包括第一分组传输,在第一分组传输时,各个被驱动表存储节点被分组为至少两个被驱动表存储节点分组,并且各个表连接节点的局部Bloom过滤器被分别传输到各个被驱动表存储节点分组中的一个被驱动表存储节点;
对基于所述分组传输获取的局部Bloom过滤器进行第一过滤器合并,得到第一合并局部Bloom过滤器;
与同一被驱动表存储节点分组中的其余被驱动表存储节点,彼此共享各自的第一合并局部Bloom过滤器,所述其余被驱动表存储节点处的第一合并局部Bloom过滤器通过对基于分组传输获取的局部Bloom过滤器进行第一过滤器合并得到;以及
对从所述其余被驱动表存储节点获取的第一合并局部Bloom过滤器以及本地具有的第一合并局部Bloom过滤器进行第二过滤器合并,生成完整Bloom过滤器。
2.如权利要求1所述的过滤器传输方法,其中,在第一分组传输时,各个表连接节点对各自的局部Bloom过滤器经过过滤器分割后得到Bloom过滤器分块,并且将所述Bloom过滤器分块中的每个Bloom过滤器分块分别传输到各个对应的被驱动表存储节点分组中的一个被驱动表存储节点,
基于分组传输获取至少两个表连接节点中的部分表连接节点的局部Bloom过滤器包括:
基于第一分组传输获取至少两个表连接节点中的部分表连接节点的Bloom过滤器分块;以及
对从同一表连接节点获取的Bloom过滤器分块进行分块级联合并,得到从该表连接节点获取的局部Bloom过滤器。
3.如权利要求1所述的过滤器传输方法,其中,所述分组传输还包括多层级第二分组传输,所述第一分组传输和所述多层级第二分组传输组成多层级级联传输,
在每一层级第二分组传输时,所述过滤器传输方法包括:
对上一层级分组传输所获取的局部Bloom过滤器进行过滤器合并,得到当前层级的局部Bloom过滤器;以及
将当前层级的局部Bloom过滤器分别传输到与所述被驱动表存储节点在上一层级分组传输时所属的第一被驱动表存储节点分组对应的各个第二被驱动表存储节点分组中的一个被驱动表存储节点,所述第二被驱动表存储节点分组通过对上一层级分组传输所得到的各个第一被驱动表存储节点分组进一步分组得到,
其中,所述同一被驱动表存储节点分组包括最后层级第二分组传输时的同一被驱动表存储节点分组。
4.如权利要求3所述的过滤器传输方法,其中,在每一层级第二分组传输时,在将当前层级的局部Bloom过滤器分别传输到与所述被驱动表存储节点在上一层级分组传输时所属的第一被驱动表存储节点分组对应的各个第二被驱动表存储节点分组中的一个被驱动表存储节点之前,所述过滤器传输方法还包括:
对当前层级的局部Bloom过滤器进行过滤器分割得到Bloom过滤器分块,
在每一层级第二分组传输时,在对上一层级分组传输所获取的局部Bloom过滤器进行过滤器合并之前,所述过滤器传输方法还包括:
对从同一被驱动表存储节点获取的Bloom过滤器分块进行分块级联合并,得到从该被驱动表存储节点获取的局部Bloom过滤器。
5.如权利要求2或4所述的过滤器传输方法,其中,所述过滤器分割包括下述过滤器分割中的一种:
基于指定大小的过滤器分割;
基于指定个数的过滤器分割;或者
自适应过滤器分割。
6.如权利要求3所述的过滤器传输方法,其中,所述多层级第二分组传输中的层级数目根据下述参数中的一个参数决定:
各个被驱动表存储节点的节点递归分组的分组层次;
指定第二分组传输层次;或者
表连接代价。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奥星贝斯科技有限公司,未经北京奥星贝斯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110912299.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:查询请求处理方法、装置及设备、键值查询系统
- 下一篇:一种智能硝化反应器