[发明专利]哈希连接方法和装置

说明书

本发明公开了一种哈希连接方法和装置。该方法在进行数据库查询时在目标数据组进行分组过程中，以vector为数量单位划分并计算数据段内原始数据的哈希值，并以比特位表示；再基于预设分组规则在哈希分组中，将位于指定位上取值相同的哈希值所对应的原始数据划分在同一小组内，在后续分组中利用前一次哈希分组中未被指定比特位继续执行哈希分组，同时，在进行分组的过程中，按照所述原始数据在目标数据组中的位置，对划分在同一小组中的原始数据进行排序，最后，再对进行分组以及排序后的待连接的目标数据组中对应分组中的原始数据进行连接操作。从而实现降低后续对各个分组进行排序的复杂度的目的。

技术领域

本发明涉及数据库技术领域，更具体的说，是涉及一种哈希连接方法和装置。

背景技术

随着数据库技术的发展和应用，数据库存储的数据量已从兆字节(M)及千兆字节(G)过渡到现在的兆兆字节(T)和千兆兆字节(P)。基于当前数据库所能存储的数据量，用户在查询数据库的过程中，所需要面对的则是G级、 T级甚至P级的数据量。在查询如此大的数据量的情况下，需要满足查询的快速响应，则对数据库处理性能提出了很大的挑战，而对数据库性能产生至关重要的则是在查询过程中数据库对查询中包含的Join操作(连接操作)的处理响应时间。

在数据库中实现Join操作的基本方法主要有Hash Join(哈希连接)，Merge Join以及针对Grace Join做改进后的Radix Join(聚集连接)算法。其中，在查询的过程中主要包括分组和Join两部分，为避免分组过程中，当分组数大于 CPU的TLB entry项(TLB，Translation Lookaside Buffer，页表缓冲，TLB entry 指在LTB中缓存的页表条目)时所导致的严重TLB miss(指TLB中没有所需的表页)问题，现有的查询在分组阶段多半采用多路分组的方法减少TLB miss。目前最常见的查询过程为：首先，采用多路分组的方式进行分组，且在每一次分组过程中对原始数据进行hash计算，然后，在获得多路分组后，对各个分组以及各个分组中的原始数据进行排序，最后，再对已知顺序的分组进行Join 操作。

由上述可知，现有的进行数据库查询过程中，面临分组阶段所采用的多路分组需要多次计算hash值可能会产生大量cache miss(缓存缺失，指所请求的数据不在要访问的存储器层)，以及浪费计算资源的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种哈希连接方法和装置，以克服现有进行数据库查询过程中，所面临的浪费计算资源的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例的第一方面提供了一种哈希连接方法，应用于数据库，包括：

接收包含有连接Join操作的结构化查询语言SQL语句，解析获取至少两个待连接的目标数据组；

以矢量vector为数量单位将每一目标数据组划分为多个数据段；

基于预设分组规则依次对每一目标数据组中的数据段进行N次哈希hash 分组，其中，在每次hash分组时，基于第1次hash分组计算所述数据段中的原始数据所得的用bit位表示的hash值，将当前hash分组过程中指定bit位上取值相同的hash值所对应的原始数据划分在同一小组内，并对划分在同一小组内的各个原始数据，按照各个原始数据在所述目标数据组中的位置在同一小组内进行排序并保存，N取大于或等于1的正整数；

对每一目标数据组经过N次hash分组后获得的小组，在所述目标数据组中，按照各个小组中所包含的原始数据对应的hash值由小至大的对各个小组进行排序；

按照排序依次取所述两个待连接的目标数据组中经由N次hash分组后获得的各个小组中的原始数据进行Join操作。