[发明专利]一种任务执行方法、装置、设备及存储介质

说明书

本申请实施例公开了一种任务运行方法、装置、设备及存储介质，其中该方法包括：节点管理者NodeManager启动时，获取目标镜像文件；所述NodeManager启动执行目标任务时，启动应用容器引擎，并将所述目标任务对应的配置文件挂载到所述目标镜像文件中；所述应用容器引擎启动后，执行容器运行脚本，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程。该方法能够有效地限制NodeManager运行其Container时的资源消耗。

技术领域

本申请涉及计算机技术领域，尤其涉及一种任务执行方法、装置、设备及存储介质。

背景技术

另一种资源协调者(Yet Another Resource Negotiator，Yarn)是一种新的分布式文件系统Hadoop的资源管理器，其本质上是一个通用资源管理系统，可以为上层应用提供统一的资源管理和调度。

节点代理者(NodeManager)是Yarn中的单节点代理，其负责管理Hadoop集群中的单个计算节点。在实际工作过程中，NodeManager需要与应用控制者(ApplicationMaster)和资源代理者(ResourceManager)进行交互，从ApplicationMaster处接收针对相关容器(Container)的命令(如启动命令、停止命令等)并执行，向ResourceManager上报各个Container的运行状态和节点健康状态。

相关技术中，Yarn中的NodeManager运行其Container时通常无法实现资源隔离，即针对Container配置的资源使用上限无法有效地限制该Container运行时消耗的资源，例如，配置了一个2GB、1core的Container，而该Container实际运行时消耗的虚拟机内存会超过4GB，中央处理器(Central Processing Unit，CPU)的利用率会超过300％。

综上所述，如何有效地限制NodeManager运行其Container时的资源消耗，已成为目前亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种任务运行方法、装置、设备及存储介质，能够有效地限制NodeManager运行其Container时的资源消耗。

本申请第一方面提供了一种任务运行方法，所述方法包括：

节点管理者NodeManager启动时，获取目标镜像文件；

所述NodeManager启动执行目标任务时，启动应用容器引擎，并将所述目标任务对应的配置文件挂载到所述目标镜像文件中；

所述应用容器引擎启动后，执行容器运行脚本，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程。

可选的，所述方法还包括：

检测所述目标任务的提交者对应的目标用户信息；

所述应用容器引擎启动后，根据所述目标用户信息，生成目标虚拟用户以及所述目标虚拟用户对应的权限；

则所述应用容器引擎启动后，执行容器运行脚本，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程，包括：

所述应用容器引擎启动后，执行所述容器运行脚本，通过所述目标虚拟用户按照其对应的权限，基于所述目标镜像文件中的所述配置文件执行所述目标任务对应的容器进程。

可选的，所述配置文件包括以下至少一种：

分布式文件系统Hadoop的资源配置文件、计算引擎Spark的资源配置文件、目标软件包文件。

可选的，所述NodeManager启动时，所述方法还包括：

检测所述应用容器引擎当前是否登录有目标用户账号；