[发明专利]用于数据库表连接的过滤器传输方法、装置及系统

说明书

本说明书的实施例提供用于分布式数据库的表连接的过滤器传输方法，表连接所涉及的被驱动表存储在至少两个被驱动表存储节点处。各个表连接节点将各自的局部Bloom过滤器分别传输到各个被驱动表存储节点分组中的一个被驱动表存储节点，各个被驱动表存储节点分组通过对至少两个被驱动表存储节点进行节点分组得到。各个被驱动表存储节点对所获取的局部Bloom过滤器进行第一过滤器合并，得到第一合并局部Bloom过滤器。在同一被驱动表存储节点分组中的各个被驱动表存储节点之间共享各自的第一合并局部Bloom过滤器。各个被驱动表存储节点对所获取的第一合并局部Bloom过滤器以及本地具有的第一合并局部Bloom过滤器进行第二过滤器合并，得到完整Bloom过滤器。

技术领域

本说明书实施例通常涉及数据库领域，尤其涉及用于分布式数据库的表连接的过滤器传输方法、过滤器传输装置以及分布式数据库系统。

背景技术

在数据库中进行表连接时，优化器会根据代价选择表连接过程中是否使用布隆过滤器（Bloom Filter）。在表连接过程具有较高的过滤性时，使用Bloom过滤器可以有效提升表连接性能。在分布式数据库中，需要按照分布式执行的方式执行表连接。在分布式执行中，Bloom过滤器需要广播给表连接节点右侧所有参与表连接的被驱动表存储节点，这些被驱动表存储节点部署在不同的设备处。在数据规模较大且数据库集群规模也较大时，将Bloom过滤器广播给表连接节点右侧所有参与表连接的被驱动表存储节点会占用大量网络带宽，从而造成Bloom过滤器的发送时间较长，最终导致表连接节点右侧参与表连接的被驱动表存储节点迟迟收不到Bloom过滤器，进而影响表连接执行性能。

发明内容

鉴于上述，本说明书实施例提供用于分布式数据库的表连接的过滤器传输方法、过滤器传输装置及分布式数据库系统。利用该过滤器传输方法及装置，通过基于分组传输来将表连接节点的Bloom Filter传输到各个被驱动表存储节点，可以有效地减少BloomFilter的网络传输数据量，降低Bloom Filter的传输耗时，从而提升表连接的执行性能。

根据本说明书实施例的一个方面，提供一种用于分布式数据库的表连接的过滤器传输方法，所述表连接的被驱动表存储在至少两个被驱动表存储节点处，所述Bloom过滤器传输方法由一个被驱动表存储节点执行，所述过滤器传输方法包括：基于分组传输获取至少两个表连接节点中的部分表连接节点的局部Bloom过滤器，各个表连接节点的局部Bloom过滤器分别基于驱动表的部分行数据创建，所述分组传输包括第一分组传输，在第一分组传输时，各个被驱动表存储节点被分组为至少两个被驱动表存储节点分组，并且各个表连接节点的局部Bloom过滤器被分别传输到各个被驱动表存储节点分组中的一个被驱动表存储节点；对基于所述分组传输获取的局部Bloom过滤器进行第一过滤器合并，得到第一合并局部Bloom过滤器；与同一被驱动表存储节点分组中的其余被驱动表存储节点，彼此共享各自的第一合并局部Bloom过滤器，所述其余被驱动表存储节点处的第一合并局部Bloom过滤器通过对基于分组传输获取的局部Bloom过滤器进行第一过滤器合并得到；以及对从所述其余被驱动表存储节点获取的第一合并局部Bloom过滤器以及本地具有的第一合并局部Bloom过滤器进行第二过滤器合并，生成完整Bloom过滤器。

可选地，在上述方面的一个示例中，在第一分组传输时，所述各个表连接节点对各自的局部Bloom过滤器经过过滤器分割后得到Bloom过滤器分块，并且将所述Bloom过滤器分块中的每个Bloom过滤器分块分别传输到各个对应的被驱动表存储节点分组中的一个被驱动表存储节点。基于分组传输获取至少两个表连接节点中的部分表连接节点的局部Bloom过滤器可以包括：基于第一分组传输获取至少两个表连接节点中的部分表连接节点的Bloom过滤器分块；以及对从同一表连接节点获取的Bloom过滤器分块进行分块级联合并，得到从该表连接节点获取的局部Bloom过滤器。