[发明专利]任务提交方法及装置

说明书

本发明实施例提供了一种任务提交方法及装置。本发明实施例首先接收任务参数，之后根据任务参数确定编程语言和执行任务的环境参数，根据编程语言生成配置文件，并将配置文件存储到预定位置；最后根据预定位置、环境参数及执行任务代码包的地址生成任务提交体，并将任务提交体通过应用层面向对象的通信协议发送给资源调度器。本发明实施例能够生成保证任务正常执行的任务提交体，并利用应用层面向对象的通信协议提交该任务提交体，由于应用层面向对象的通信协议适用于任一种资源调度器，因此任务发送方不需要集成任务执行的环境也能将任务发送给资源调度器，从而解除了任务提交与任务执行环境的耦合，减小了完成任务的复杂程度。

技术领域

本发明实施例涉及数据处理技术领域，并且更具体地，涉及一种任务提交方法及装置。

背景技术

目前，在大数据处理系统中，一般包括任务发送方和任务处理方，两者远程连接，使大数据处理不再受地域限制。任务发送方在提交任务给任务处理方时，需要遵循一定的规则，才能成功的将任务提交给任务处理方。这就需要在任务发送方集成与任务处理方相同或相应的环境，造成任务发送与对应执行环境的强耦合，增加了完成任务的复杂程度，造成不必要的资源浪费。下面具体以Apache Spark为例对当前大数据处理中任务发送存在的问题进行说明。

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，目前很多企业都在使用该计算引擎进行大规模的数据处理。利用Apache Spark进行数据处理首先需要向Apache Spark集群发送Spark任务，当前Spark任务发送包括两种方式，一种是通过脚本spark-submit提交，另一种是通过Apache Spark提供的api SparkLauncher进行提交。可见目前这两种Spark任务提交方式都需要在任务提交方集成Apache Spark。由于Spark任务是在Apache Spark集群执行，任务发送方并不需要执行任何的Spark逻辑，因此如果只是为了发送Spark任务，就在发送方集成Apache Spark，不仅会造成Spark任务提交与ApacheSpark的强耦合，使Spark任务对Apache Spark存在很强的依赖性，并且会增加完成Spark任务的复杂程度，造成不必要的资源浪费。

发明内容

本发明实施例提供一种任务提交方法及装置，其能够生成保证任务正常执行的任务提交体，并利用应用层面向对象的通信协议提交任务，由于应用层面向对象的通信协议适用于任何一种资源调度器，因此任务发送方不需要集成任务执行的环境也能将任务发送给资源调度器，从而使任务提交不再依赖任务执行环境，解除了任务提交与任务执行环境的耦合，减小了完成任务的复杂程度，节省了完成任务的需要使用的资源。

第一方面，提供了一种任务提交方法，所述方法包括如下步骤：

接收任务参数，其中所述任务参数包括执行任务代码包的地址和资源调度器类型；

根据所述执行任务代码包的地址确定执行任务的编程语言；

根据所述编程语言生成对应的配置文件，并将所述配置文件存储到预定位置；

根据所述编程语言和所述资源调度器类型确定执行任务的环境参数；

根据所述预定位置、所述环境参数以及所述执行任务代码包的地址生成任务提交体，并将所述任务提交体通过应用层面向对象的通信协议发送给所述资源调度器。

结合第一方面，在第一种可能的实现方式中，所述方法还包括以下步骤：

根据所述资源调度器类型确定与资源调度器通信的接口地址；利用所述接口地址向对应的资源调度器发送任务提交申请，以使所述资源调度器生成对应的任务标识符并为任务分配执行资源，其中执行资源包括执行任务需要的内存大小；

接收所述资源调度器发送的所述任务标识符和执行资源；