[发明专利]一种编码指令的处理方法和节点设备

说明书

本申请提供一种编码指令的处理方法和节点设备，该方法应用于Spark应用系统中的节点设备，包括：在获取Spark应用系统中可执行的物理计划后，判断是否将物理计划提交到Spark应用系统内设的Spark集群；当判断出将物理计划提交到Spark集群时，在本节点设备作为Spark应用系统的主设备时，将物理计划提交给Spark集群，在采用上述实现方式后，本申请有利于降低Spark应用系统处理作业时消耗的时长，从而有利于提高Spark应用系统处理作业时的效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种编码指令的处理方法和节点设备。

背景技术

Spark应用系统是专为大规模数据处理而设计的快速通用的计算引擎，在现有技术中，当Spark应用系统执行批处理作业或者执行结构化查询类的作业时，Spark应用系统采用串行处理的方式来处理作业，因此，在Spark应用系统对多个作业进行处理时，Spark应用系统的处理效率很大程度上受限于某台设备的性能，因此当Spark应用系统中的某台设备的性能一定，且在Spark应用系统处理的作业数量较多时Spark应用系统处理作业时消耗的时长较长，例如：在Spark应用系统需要对三个作业进行处理时，Spark应用系统会对该三个作业逐个进行处理，即在Spark应用系统处理完一个作业后，才会对下一个作业进行处理，从而使得Spark应用系统在处理该三个作业时消耗的时长较长。

发明内容

有鉴于此，本申请提供了一种编码指令的处理方法和节点设备，以提高Spark应用系统处理作业时的效率。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请提供了一种编码指令的处理方法，该方法应用于Spark应用系统中的节点设备，包括：

在获取所述Spark应用系统中可执行的物理计划后，判断是否将所述物理计划提交到所述Spark应用系统内设的Spark集群；

当判断出将所述物理计划提交到所述Spark集群时，

在本节点设备作为所述Spark应用系统的主设备时，将所述物理计划提交给所述Spark集群；

本节点设备作为所述Spark应用系统的从设备时，将所述物理计划发送给所述主设备，由所述主设备将所述物理计划提交给所述Spark集群。

可选地，所述判断是否将所述物理计划提交到所述Spark集群，包括：

确定与所述物理计划对应的逻辑计划的逻辑计划参数值；

比较所述逻辑计划参数值M1和预设的逻辑计划标准值M2；

如果M1大于或等于M2，则确定将所述物理计划提交到所述Spark集群；

如果M1小于M2，则确定不将所述物理计划提交到所述Spark集群。

可选地，所述逻辑计划参数值为所述逻辑计划的Spark算子复杂度。

可选地，当判断出不将所述物理计划提交到所述Spark集群时，所述方法还包括：

按照多线程并发执行的方式执行所述物理计划。

可选地，所述将所述物理计划提交给所述Spark集群，包括：

存储所述物理计划；

按先进先出队列规则，将所述物理计划发送给所述Spark集群。

第二方面，本申请提供了一种节点设备，该节点设备应用于Spark应用系统中，所述节点设备包括：

判断单元，用于在获取所述Spark应用系统中可执行的物理计划后，判断是否将所述物理计划提交到所述Spark应用系统内设的Spark集群；