[发明专利]一种HadoopYarn网络带宽资源调度、隔离方法和装置

权利要求书

1.一种Hadoop Yarn网络带宽资源调度方法，其特征在于，包括：

RM接收AM发送的作业资源请求；其中，所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；

所述RM根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，并将每个所述任务对应的容器传递给所述AM；其中，在每个所述容器中封装有对应任务的网络带宽分配量、CPU资源分配量和内存资源分配量；

所述AM针对每个所述任务，向所述AM所在节点中的NM发送运行请求，使所述NM基于每个所述任务对应的容器运行任务。

2.如权利要求1所述的方法，其特征在于，在RM接收AM发送的作业资源请求之后，还包括：

所述RM从所述作业资源请求的被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；其中，

预先扩展Resource类包括：在Resource类中添加用于表示网络带宽资源的变量以及用于计算每种任务的网络带宽资源需求量的函数。

3.如权利要求1所述的方法，其特征在于，

在所述RM接收AM发送的作业资源请求之前，还包括：

所述RM接收所述NM定时发送的所述节点当前可用的网络带宽资源、CPU资源和内存资源；

所述RM根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，包括：

所述RM根据每个任务的CPU资源需求量、内存资源需求量和网络带宽资源需求量，采用预设的主资源公平调度算法，在所述节点当前可用的网络带宽资源、CPU资源和内存资源和中，为每个所述任务对应分配网络带宽分配量、CPU资源分配量和内存资源分配量；

所述RM分别封装为每个所述任务对应分配的网络带宽分配量、CPU资源分配量和内存资源分配量，得到每个所述任务对应的容器。

4.一种Hadoop Yarn网络带宽资源隔离方法，其特征在于，包括：

NM从AM获取多个容器；其中，每个所述容器中封装有对应的任务的网络带宽资源分配量；

所述NM根据各个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源。

5.如权利要求4所述的方法，其特征在于，NM从AM获取每个容器，包括：

所述NM接收本节点中的AM发送的运行请求；所述运行请求用于请求所述NM运行某一任务；

所述NM从所述AM中获取所述任务对应的容器；

所述NM根据每个任务的网络带宽资源分配量，隔离各个任务占用的网络带宽资源，包括：

所述NM根据所述容器运行所述任务，并且根据所述任务的网络带宽资源分配量，在本节点当前可用的网络带宽资源中，为所述任务分配网络带宽资源，并对分配的所述网络带宽资源进行隔离处理，使所述任务占用的网络带宽资源和其他任务占用的网络带宽资源不产生覆盖。

6.一种Hadoop Yarn网络带宽资源调度装置，其特征在于，位于RM，包括：

接收模块，用于接收AM发送的作业资源请求；其中，所述工作资源请求包括：在作业中，每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；

调度模块，用于根据每个所述任务的网络带宽需求量、CPU资源需求量和内存资源需求量，采用预设的公平调度算法，为每个所述任务对应分配容器，并将每个所述任务对应的容器传递给所述AM，以使所述AM针对每个所述任务，向所述AM所在节点中的NM发送运行请求，使所述NM基于每个所述任务对应的容器运行任务；

其中，在每个所述容器中封装有对应任务的网络带宽分配量、CPU资源分配量和内存资源分配量。

7.如权利要求6所述的装置，其特征在于，所述接收模块包括提取单元；

所述提取单元，用于在接收AM发送的作业资源请求之后，从所述作业资源请求的被预先扩展的Resource类中，提取每个任务的网络带宽资源需求量、CPU资源需求量和内存资源需求量；其中，

预先扩展Resource类包括：在Resource类中添加用于表示网络带宽资源的变量以及用于计算每种任务的网络带宽资源需求量的函数。