[发明专利]一种基于优先级的深度学习任务调度方法及装置

权利要求书

1.一种基于优先级的深度学习任务调度方法，其特征是，包括：

根据用户的优先级确定job的优先级，job优先级高的优先被调度，其中用户优先级与其提交的job优先级对应相同；

如果job的优先级相同，获取job的状态，处于ready状态的job优先被调度；

如果job均处于ready状态，通过调用job的优先级函数计算job的share值并进行比较，share值最小的job优先被调度；其中，所述通过调用job的优先级函数，计算job的share值并进行比较具体包括：

计算集群中所有主机的可分配资源，其公式如下：

其中，表示集群中GPU的可分配资源，表示对集群中所有主机上GPU的可分配资源进行求和计算；表示集群中Memory的可分配资源，表示对集群中所有主机上Memory的可分配资源进行求和计算；表示集群中CPU的可分配资源，表示对集群中所有主机上CPU的可分配资源进行求和计算；

计算每个job中的所有task请求的资源，其公式如下：

其中，表示job中请求的GPU资源，表示job中所有task请求的GPU资源进行求和；表示job中请求的Memory资源，表示job中所有task请求的Memory资源进行求和；表示job中请求的CPU资源，表示job中所有task请求的CPU资源进行求和；

分别计算GPU、Memory、CPU的share值，从中选取最大值作为job的share值，并对job的share值进行比较，其公式如下：

其中，表示GPU 的share值，具体是job中请求的GPU资源和集群中GPU的可分配资源的比值；表示Memory 的share值，具体是job中请求的Memory资源和集群中Memory的可分配资源的比值；表示GPU 的share值，具体是job中请求的CPU资源和集群中CPU的可分配资源的比值。

2.根据权利要求1所述的基于优先级的深度学习任务调度方法，其特征是，还包括：如果job的share值相同，获取job的创建时间，创建时间早的job优先被调度。

3.根据权利要求1所述的基于优先级的深度学习任务调度方法，其特征是，job处于ready状态的判断方法具体是：

通过调用gang插件，统计job内处于allocated状态以及succeeded状态的task的数量之和，当job内处于allocated状态以及succeeded状态的task的数量之和大于等于第一阈值时，即为job处于ready状态。

4.根据权利要求3所述的基于优先级的深度学习任务调度方法，其特征是，所述第一阈值为job的运行最小task数量。

5.根据权利要求1所述的基于优先级的深度学习任务调度方法，其特征是，所述job的优先级函数具体是通过drf函数定义获得。