[发明专利]一种基于Spark SQL的列计算优化方法

说明书

本发明公开了一种基于Spark SQL的列计算优化方法，包括如下步骤：S1、统一内存管理，建立基于Arrow统一数据管理机制，当文件数据从磁盘加载到内存Arrow结构中之后，可以被多种插件访问和计算；S2、异构计算资源统一调度，在Spark SQL中扩展优化器和插件，实现基于数据特征的异构资源调度机制；S3、对Spark SQL的逻辑执行计划进行的规则匹配，生成基于统一内存结构Arrow的CPU和GPU混合编排的物理执行计划。本发明以Arrow列的格式可压缩内存空间，避免JVM内存计算GC开销，加快计算效率，将Spark SQL算子按照代价优化方法混合编排成最优执行计划，降低总体的计算耗时。

技术领域

本发明涉及集群计算系统技术领域，具体为一种基于Spark SQL的列计算优化方法。

背景技术

Apache Spark是一个快速的，通用的集群计算系统。它对Java、Scala、Python和R提供了高层API，它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的SparkSQL模块，其架构说明书附图中的图1所示。

Spark SQL是基于开源并行计算框架Spark的SQL引擎，提供大数据环境下，基于SQL语言进行数据查询和分析的能力。

a)Spark SQL基于RDD进行数据处理能很好的表达SQL的数据模型，Spark SQL提供了Row Based的数据处理和分析能力；

b)Spark SQL基于Spark的并行计算模型进行调度和处理，可以基于海量数据，进行并行计算和分析，提供了高性能的数据分析和处理能力；

c)Spark SQL基于JVM通过“WholeStageCodeGen”技术，进行性能优化，提供了高性能的RowBased的性能优化。

OAP项目：通过Spark SQL的插件机制，提供ColumnBatch的分析计算能力。

a)OAP基于ApacheArrow(以下简称Arrow)进行Column Based的数据管理，Arrow提供CPU-Cache优化内存数据管理能力，提供SIMD友好的数据管理模型；

b)OAP提供LLVM based表达式引擎，可以结合Arrow数据，更好的发挥CPU SIMD的高效计算能力；

c)OAP通过内存数据的优化和表达式优化，向Spark SQL提供了SIMD优化的高性能列是计算能力，可以显著Spark SQL的列式计算和分析性能。

Spark-RAPIDS项目：是基于英伟达RAPIDS生态构建的GPU加速的SQL引擎。

a)在数据的内存管理上，采用Arrow进行内存布局管理；

b)在计算上提供面向GPU的DataFrame库，提供JOIN，聚合运算等计算能力；

c)基于Spark的插件机制，向Spark提供面向GPU优化的能力。

OAP和Spark-RAPIDS虽然都是基于Arrow进行内存数据管理，但在两个项目中Arrow只做为插件进行内存管理，无法在两个插件间进行数据共享，即无法基于统一的数据格式在CPU和GPU之间共享数据。如果在生产环节中同时部署两种插件，就会出现同一张表的数据需要在连个插件内重复加载的现象，浪费内存资源。

由于是在插件内将文件加载到Arrow，也会出现数据文件的重复加载，导致I/O资源的浪费，增加了HDFS系统的性能压力。

同时，当前的Spark架构无法提供基于数据特征的异构统一调度，主要表现在以下几点：

由于OAP和Spark-RAPIDS作为插件机制，Spark SQL并未提供插件间优化调度的机制。无法再一个业务中同时使用CPU优化和GPU优化能力。