[发明专利]一种任务处理的方法、装置及存储介质

说明书

本申请实施例提供一种任务处理的方法、装置及存储介质，用以降低任务处理的时延。在本申请中，驱动节点根据Yarn调度器的启动指示执行预启动，其中，驱动节点是Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的；驱动节点从可执行任务的消息队列中获取目标任务，并执行获取的目标任务，其中消息队列中的可执行任务是客户端发送的；驱动节点将目标任务的执行结果发送到消息队列中，以使客户端从消息队列中获取目标任务的执行结果。驱动节点是Yarn调度器根据客户端发送的虚拟任务请求预先从Spark集群中选取的，因此在有目标任务时，驱动节点直接执行，节省Yarn调度器选择驱动节点的时间，降低任务处理的时延。

技术领域

本发明涉及大数据技术领域，尤其涉及一种任务处理的方法、装置及存储介质。

背景技术

当客户端有实际任务需求时，客户端启动实际任务，并向Yarn调度器发送执行实际任务的请求。Yarn调度器接收到实际任务请求后，从Yarn调度器管理的Spark集群中选择空闲的计算节点，由空闲的计算节点执行实际任务；若此时没有空闲的计算节点，则实际任务需要等待，直至有空闲的计算节点，才可执行该实际任务。导致实际任务处理不及时，增加实际任务的处理时间。

发明内容

本申请提供一种任务处理的方法、装置及存储介质，用以降低任务处理的时延。

第一方面，本申请实施例提供一种任务处理的方法，应用于包含有Spark on Yarn架构的服务器中，该方法包括：

驱动节点根据Yarn调度器的启动指示执行预启动，其中，驱动节点是Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的；

驱动节点从可执行任务的消息队列中获取目标任务，并执行获取的目标任务，其中消息队列中的可执行任务是客户端发送的；

驱动节点将目标任务的执行结果发送到消息队列中，以使客户端从消息队列中获取目标任务的执行结果。

第二方面，本申请实施例提供一种任务处理的方法，应用于客户端中，该方法包括：

客户端将可执行任务作为目标任务发送到消息队列中，以使驱动节点从消息队列中获取目标任务；

客户端检测消息队列，接收驱动节点反馈的目标任务的执行结果。

第三方面，本申请实施例提供一种任务处理的装置，该装置包括：预启动单元、执行单元及第一发送单元；其中：

预启动单元，用于根据Yarn调度器的启动指示执行预启动，其中，驱动节点是Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的；

执行单元，用于从可执行任务的消息队列中获取目标任务，并执行获取的目标任务，其中消息队列中的可执行任务是客户端发送的；

第一发送单元，用于将目标任务的执行结果发送到消息队列中，以使客户端从消息队列中获取目标任务的执行结果。

在一种可能的实现方式中，执行单元还用于：实时检测可执行任务的消息队列；当可执行任务的消息队列中有可执行任务时，获取可执行任务作为目标任务。

在一种可能的实现方式中，执行单元还用于：对目标任务进行分析；当目标任务的数据类型为RDD(Resilient Distributed Dataset，分布式数据集)数据类型，将目标任务分发给执行节点，使驱动节点和执行节点共同执行目标任务；

其中，执行节点是在确定目标任务的数据类型为RDD数据类型后，向Yarn调度器发送资源请求获得的。

第四方面，本申请实施例提供一种任务处理的装置，该装置包括：第二发送单元及接收单元，其中：