[发明专利]数据表关联方法、装置、服务器及存储介质

说明书

本申请实施例适用于数据处理技术领域，提供了一种数据表关联方法、装置、服务器及存储介质，所述方法包括：当接收到计算请求时，确定与计算请求相对应的指令集中的多个关联阶段；识别第一关联阶段中的第一数据表和第二数据表；若第一数据表和第二数据表中至少存在一张数据表的数据量小于预设数据阈值，则以广播的方式进行数据表关联；当执行非第一关联阶段的关联任务时，统计第一关联阶段获得的关联数据表的数据量；若第一关联阶段获得的关联数据表的数据量小于数据阈值，则将第一关联阶段获得的关联数据表广播至目标数据表进行关联，减少了网络传输的数据量，提高了程序执行的效率，在一定程度上解决了由于数据倾斜导致程序内存溢出的问题。

技术领域

本申请属于数据处理技术领域，特别是涉及一种数据表关联方法、装置、服务器及存储介质。

背景技术

Apache Spark也被称作Spark计算，是专门为大规模数据处理而设计的一种快速通用的计算引擎。随着数据量的日益增长，Spark计算越来越成为了大数据领域广泛使用的计算框架。作为Spark大数据框架的一部分，SparkSQL支持使用标准SQL查询和HiveQL来读写数据，可用于对结构化数据的分布式处理，并可以执行类似SQL的Spark数据查询，有助于开发人员更快地创建和运行Spark程序。

使用SparkSQL进行大数据处理的主要性能瓶颈是Shuffle问题，Shuffle的性能高低直接影响了整个程序的性能和吞吐量。Shuffle描述着数据从一个节点输出到另一个节点输入的这段过程。Shuffle包括输出阶段的数据准备和输入阶段的数据拷贝处理，即输出端的Shuffle Write和输入端的Shuffle Read两部分。通常，在采用Shuffle的方式进行数据处理时，输入端需要跨节点去拉取其他节点上输出的数据，这一过程将会产生网络资源、内存以及磁盘IO的消耗。

例如，在对两张数据表进行关联时，如果将大表的数据拉取到小表，由于需要拉取的数据较多，就会增加网络传输的数据量，影响程序执行的效率，甚至出现由于数据倾斜而导致的程序内存溢出的问题。

发明内容

有鉴于此，本申请实施例提供了一种数据表关联方法、装置、服务器及存储介质，以解决现有技术中将大表的数据拉取到小表时，由于数据量较大，导致程序执行效率较低，甚至可能出现由于数据倾斜而导致的程序内存溢出的问题。

本申请实施例的第一方面提供了一种数据表关联方法，包括：

当接收到针对数据表的计算请求时，获取与所述计算请求相对应的指令集；

确定所述指令集中的多个关联阶段，所述关联阶段包括第一关联阶段，以及与所述第一关联阶段相邻的非第一关联阶段；

在执行所述第一关联阶段对应的关联任务时，识别所述第一关联阶段中待关联的第一数据表和第二数据表；

若所述第一数据表和所述第二数据表中至少存在一张数据表的数据量小于预设数据阈值，则以广播的方式对所述第一数据表和所述第二数据表进行关联，获得所述第一关联阶段的关联数据表；

在执行所述非第一关联阶段对应的关联任务时，统计所述第一关联阶段获得的关联数据表的数据量；

若所述第一关联阶段获得的关联数据表的数据量小于所述数据阈值，则将所述第一关联阶段获得的关联数据表广播至目标数据表，通过相同的key值对所述关联数据表和所述目标数据表进行关联。

本申请实施例的第二方面提供了一种数据表关联装置，包括：

指令集获取模块，用于在接收到针对数据表的计算请求时，获取与所述计算请求相对应的指令集；

关联阶段确定模块，用于确定所述指令集中的多个关联阶段，所述关联阶段包括第一关联阶段，以及与所述第一关联阶段相邻的非第一关联阶段；