[发明专利]一种基于向量化执行的数据库排序方法及系统

说明书

本发明涉及一种向量化执行的数据库排序方法，包括：将输入数据向量化为多个输入数据行组；在计算节点的内存中开辟大小为最适粒度的缓冲区；将该输入数据行组依次追加至该缓冲区的末尾空位；仅当该缓冲区满或所有该输入数据行组均已追加至该缓冲区时，将存入该缓冲区的输入数据行组调入该计算节点的处理器缓存进行排序以得到缓存输出数据行组，将该缓存输出数据行组输出至该内存并清空该缓冲区；当该内存满或所有该缓存输出数据行组均已输出至该内存时，将该内存中的该缓存输出行组排序以生成输出数据行组，将该输出数据行组保存至该计算结点的磁盘并释放内存；合并所有该输出数据行组以得到顺序排列的全序输出数据行组。

技术领域

本发明涉及数据管理领域，具体涉及一种基于向量化执行的数据库排序方法及系统。

背景技术

在数据库领域中，排序(Sort)是最为重要的操作之一，广泛被用于实现：分组(grouping)、聚合(aggregation)、连接(join)和shuffle等操作。为了处理任意大小的数据集(可能大于内存容量)，数据库中的sort一般均指的是外部排序(external sort)。外部排序算法可分为两个阶段，被称为两阶段多路归并排序(Two-phase,Multiway Merge-sort,TPMMS)，其过程如下：

1)基于内存的排序，将需要排序的数据在内存中进行缓存，当无更多可用内存时，进行一次基于内存数据的局部排序，并将结果溢写(spill)到磁盘文件中。

2)当所有需要排序的数据都进行完内存排序，形成多个局部序时，采用多路归并算法同时处理多个局部序，并生成最终的、全局的序。

向量化执行(Vectorized Execution)是最早在分析型数据库MonetDB中提出的，提升分析类(analytical)查询执行性能的执行引擎优化技术。

为了执行一条SQL查询，执行引擎会按照其语义将执行逻辑组织成一棵算子树，如图1A所示，传统执行引擎的算子树每次处理一条记录最终产生结果，而Vectorizedexecution将迭代粒度从一行变成了行组(Record Batch)，如图1B所示，在Record Batch内逻辑数据行Record(如图2A所示)逐列组织在一起(如图2B所示)，并逐列处理。

通过将迭代粒度变为每次处理Record Batch，Record Batch内按列组织、逐列处理，Vectorized execution被证明可以有效提升分析类查询的执行效率。其优势具体在于减少解释执行开销：从每次处理一行变为每次处理行组(N行)，函数调用数目减少为原来的1/N；更好的数据局部性和代码局部性，因而可以更好地利用到CPU Cache；为编译器和CPU提供了进一步自动优化的可能性。

为了在分析型数据库中实现向量执行，其关键问题之一就在于如何高效地实现向量化Sort。

TimSort是结合了合并排序(merge sort)和插入排序(insertion sort)的混合排序算法，这种算法首先识别数据中已经存在的顺序，而后利用这些局部序的知识来更高效地排出全序。概括地说，TimSort分成了两个过程：1)识别(排列)大于最小个数序列(identifyruns)，顺序扫描要sort的序列，识别其中的有序部分(或对无序数据进行插入排序)，使得有序部分长度达到算法设定的最小值(minimum size)；2)将识别出的最小序两两合并(merge sort)最终拿到全序。

针对Sort的优化当前有：