[发明专利]支持国产CPU SIMD指令的分布式数据库高性能执行器设计方法

说明书

本发明公开了一种支持国产CPU SIMD指令的分布式数据库高性能执行器设计方法，在调用分布式数据库执行任务时，查询语句经过解析，生成一棵查询树，执行计划从顶部向数据库调用next()接口，数据从树的根节点向上被子节点递归调用，最终经过project节点处理，返回结果。本发明使用SIMD指令集在各个结点充分利用CPU的计算效率进行数据并行处理，减少结点的运算时间；同时SIMD指令集采用AVX型，计算精度为64位的双精度，既可以并行运算又可以保证查询结果的精度，本发明很好的契合了精准快速业务对于分布式数据库的要求。

技术领域

本发明属于分布式数据库数据并行运算领域，尤其涉及一种支持国产CPU SIMD指令的分布式数据库高性能执行器设计方法。

背景技术

随着互联网发展水平的不断进步，商业银行从传统的业务，至信贷业务和银行零售等紧跟时代潮流的新业务不断涌现。随之而来的是数据高增长，导致传统关系型数据库不再满足使用要求；各大银行厂商纷纷搭建分布式数据库，以应对此问题。大数据下的分布式数据库对于搜索和分析效率低，耗时长；而银行业务对于时效性又有很大的要求，所以优化分布式数据库的查询性能成为研究的重要方向。

优化分布式数据库的查询性能的常见的方法：通过对表格式的修改，采用列式存储、存储数据时添加非主键便于查询和另外添加索引表等等提高查询性能，但是从根本上来说，分布式数据库真正对其限制是利用每台处理器硬件能力，但分布式数据库大都没有充分利用现在硬件能力。

SIMD指令可以大大提高并行数据的能力，增加数据吞吐量，提高处理器的计算速度，从而达到提高分布式数据库查询性能的目标。现在大多数的CPU已经具备与SIMD指令配合使用的向量寄存器，但是大部分分布式数据的执行器都没有使用基于SIMD的执行器，制约了数据库利用硬件的能力。

发明内容

本发明的目的在于基于SIMD指令设计一种分布式数据库的执行器，使得分布式数据的运行步骤能够充分使用国产CPU的能力，进而在保证数据精度的同时，增加数据吞吐量，优化分布式数据的执行效率。

本发明的目的是通过以下技术方案来实现的：一种支持国产CPU SIMD指令的分布式数据库高性能执行器设计方法，该方法包括如下步骤：

(1)接收用户查询请求，解析请求并转换成SQL任务；

(2)将SQL任务在分布式数据库中进行解析，生成一棵查询树，用于指导执行计划，所述执行计划中包括表查询顺序及表执行计划；

(3)执行计划从顶部节点不断向下调用next()接口直到分布式数据库；

(4)查询到的数据以列数据集合的形式，从树的根节点(即分布式数据库)不断向上被各层叶子节点递归调用处理；

对于HashAgg节点，不是立刻往上层节点返回数据，而是处理完所有的列数据集合后再往上层节点返回数据，具体为：当数据经过CPU加载进行hash操作时，调用CPU执行接口，以icc编译器编译代码，调换CPU执行方式为AVX类型的SIMD指令集(AVX指令集)，使得国产CPU的控制器将数据放入到国产CPU的向量寄存器中，一个控制器控制多个处理进程，做四组循环操作，一次共操作256bit数据，并行处理一组若干列(3～5列)数据集合，并缓存处理结果；

对于除HashAgg节点之外的节点，每处理完一列数据集合后立刻往上层节点返回数据。

进一步地，在查询树中，不同节点层的任务是不同的，执行不同任务的节点数量也是不同的。

进一步地，所述表执行计划包括表扫描、索引扫描、多表连接时的连接方式、子表与父表的继承关系。

进一步地，通过Scan节点从分布式数据库调用压缩数据块，返回一组符合过滤条件的col组织的列数据集合给上层HashAgg节点处理。