[发明专利]一种基于Spark SQL的列计算优化方法

权利要求书

1.一种基于Spark SQL的列计算优化方法，其特征在于，包括如下步骤：

S1、统一内存管理，建立基于Arrow统一数据管理机制，当文件数据从磁盘加载到内存Arrow结构中之后，可以被多种插件访问和计算；

S2、异构计算资源统一调度，在Spark SQL中扩展优化器和插件，实现基于数据特征的异构资源调度机制，具体包括如下步骤：

S2-1、基于表、字段数据特征的调度优化机制：对于数值型计算优先调度到CPU，特征向量数据、长字符串的计算优选选择GPU；

S2-2、结合计算特征的调度优化：对于数据量大，单计算复杂度低的任务优先调度到CPU，对于数据集较小，但计算任务复杂优先调度到GPU资源；

S2-3、实现基于负载优化调度：基于CPU和GPU的当前负载实现调度优化，优先将计算调度到负载较低的硬件上进行计算；

S3、对Spark SQL的逻辑执行计划进行的规则匹配，生成基于统一内存结构Arrow的CPU和GPU混合编排的物理执行计划。

2.根据权利要求1所述的一种基于Spark SQL的列计算优化方法，其特征在于，所述S1中Arrow结构作为RDD内存的载体，可实现在多任务、多插件间的内存数据共享。

3.根据权利要求1所述的一种基于Spark SQL的列计算优化方法，其特征在于，所述S3中Spark SQL的原生逻辑执行计划通过规则匹配，适配到用C++语言重写的物理执行计划，该执行计划支持两种计算设备的实现，可同时实现CPU和GPU类型的物理执行计划。

4.根据权利要求1所述的一种基于Spark SQL的列计算优化方法，其特征在于，所述S3中在物理执行计划节点选择匹配时，引入代价评估手段，所述代价评估手段包括：基于索引数据和统计数据评估方法，形成CPU和GPU混合编排的执行计划逻辑，且其中拉通CPU和GPU执行计划的内存数据格式为Arrow。

5.根据权利要求4所述的一种基于Spark SQL的列计算优化方法，其特征在于，所述S3中在执行计划生成阶段，根据需要计算的数据类型、数据分布、数据量等情况，基于代价评估方法决定使用CPU还是GPU的算子进行计算，将不同计算设备算子的混合编排可较大程度的提供计算性能。

6.根据权利要求4所述的一种基于Spark SQL的列计算优化方法，其特征在于，所述S3中在执行计划的运行阶段，根据物理执行计划的不同类型，将其调度到CPU或GPU计算设备上。