[发明专利]一种任务处理方法及装置

说明书

本发明实施例提供一种任务处理方法及装置，适用于运行于容器集群管理系统中的资源管理系统；资源管理系统中的资源管理单元RM和节点代理单元NM以POD的方式运行于所述容器集群管理系统中；包括：RM接收任务处理请求，通知NM生成任务协调请求，并通过容器集群管理系统的统一资源接口发送至AM；AM根据任务协调请求生成启动任务请求，并发送至NM；NM根据启动任务请求生成创建任务容器请求，并发送至统一资源接口，创建任务容器请求中包含任务和任务容器的描述信息；统一资源接口根据创建任务容器请求创建任务容器，任务容器用于任务进程执行任务处理请求。上述方法用于解决节点代理与任务处理的资源竞争问题。

技术领域

本申请涉及网络技术领域，尤其涉及一种任务处理方法及装置。

背景技术

Apache Hadoop YARN（Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。

现有技术一般将YARN系统在Kubernetes系统的上运行，即，获取Hadoop系统的镜像文件；将该镜像文件加载到Kubernetes系统中；在Kubernetes系统的docker（容器）上运行该镜像文件，以在Kubernetes系统上启动Hadoop服务。该种方式虽然可以利用Kubernetes系统的docker闲置资源，但缺点在于yarn任务进程与nodemanager（节点代理单元NM）在同一容器中，共享容器的CPU与内存资源，会出现不同任务并发运行时，任务的进程相互抢占CPU、内存资源的情况，或者若资源配置足够大，没有任务时，NodeManager容器却占用了较大资源导致出现资源浪费的情况。

因此，现在亟需一种任务处理方法和装置，用于解决节点代理与任务处理的资源竞争问题。

发明内容

本发明实施例提供一种任务处理方法和装置，用于解决节点代理与任务处理的资源竞争问题。

第一方面，本发明实施例提供一种任务处理方法，适用于运行于容器集群管理系统中的资源管理系统；所述资源管理系统中的资源管理单元RM和节点代理单元NM以应用实例POD的方式运行于所述容器集群管理系统中；该方法包括：

所述资源管理单元RM接收客户端发送的任务处理请求，通知所述节点代理单元NM生成任务协调请求，并将所述任务协调请求通过所述容器集群管理系统的统一资源接口发送至任务调度单元AM，所述任务调度单元AM为所述统一资源接口根据所述任务协调请求创建的，且所述任务调度单元AM以应用实例POD的方式运行于所述容器集群管理系统中；

所述任务调度单元AM根据所述任务协调请求生成启动任务请求，并将所述启动任务请求发送至所述节点代理单元NM；

所述节点代理单元NM根据所述启动任务请求生成创建任务容器请求，并将创建任务容器请求发送至所述统一资源接口，所述创建任务容器请求中包含任务的描述信息和任务容器的描述信息；

所述统一资源接口根据所述创建任务容器请求创建任务容器，所述任务容器用于任务进程执行所述任务处理请求。