[发明专利]一种基于资源管理平台的任务分配方法及系统

说明书

本申请公开了一种基于资源管理平台的任务分配方法及系统，该方法包括：接收人工智能模型训练和/或测试任务以及处理任务所需的数据集的名称；获取多个节点的数据集分布信息；根据所述节点中具有的数据集的名称，判断所述节点是否具有所需数据集；若节点中具有所需的数据集，根据节点中具有的所需数据集的大小，选择所需数据集的大小满足预设要求的节点进行任务分配。可见，本申请在任务分配时考虑到节点具有的数据集的情况，选择所需数据集的大小满足预设条件的节点进行任务分配，可以使得节点无需下载所需的数据集或者降低节点下载数据集的频率，提高了处理任务的效率。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于资源管理平台的任务分配方法及系统。

背景技术

随着人工智能技术和容器化技术的快速发展，越来越多的人工智能模型在分布式资源管理平台上进行训练与测试。现有的人工智能模型是利用数据集进行训练与测试的，并且针对于不同模型的应用场景选择不同的数据集。相对应的，分布式资源管理平台需要根据模型的应用场景下载对应的数据集进行模型的训练与测试。当需要在资源管理平台上处理人工智能模型的训练任务或者测试任务时，资源管理平台先将任务分配给部分节点，在处理任务前将所需要的数据集下载到处理任务的节点上。

但是人工智能模型训练与测试任务所需的数据集中包含的数据较多，现有的资源管理平台是根据节点的自身性能等进行任务分配的，处理任务前需要花费大量的时间和资源用于在各个处理任务的节点上下载数据集，影响处理任务的速度和效率。

发明内容

基于上述问题，本申请提供一种基于资源管理平台的任务分配方法及系统，能够解决现有技术中，在资源管理平台上处理人工智能模型的训练或者测试任务时，由于大量节点需要下载数据集导致的时间和资源浪费的问题。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种基于资源管理平台的任务分配方法，其特征在于，所述方法包括：

接收人工智能模型训练和/或测试任务以及处理任务所需的数据集的名称；

获取多个节点的数据集分布信息；其中，所述数据集分布信息包括该节点中具有的数据集的名称以及各个数据集的大小；

根据所述节点中具有的数据集的名称，判断所述节点是否具有所需数据集；若节点中具有所需的数据集，根据节点中具有的所需数据集的大小，选择所需数据集的大小满足预设要求的节点进行任务分配。

可选的，所述根据节点中具有的所需数据集的大小，选择所需数据集的大小满足预设要求的节点进行任务分配，包括：

根据节点中具有的所需数据集的大小，通过节点的数据集评分策略，得到该节点的数据集分值，选择数据集分值满足预设分值的节点进行任务分配。

可选的，所述节点的数据集评分策略，具体包括：

按照公式计算该节点中具有的数据集大小相对值size_i；其中i为该节点的编号，nodeNum为集群中具有该数据集的节点的数量，allNum为集群中节点的总数量,datasize_i为该目标节点所具有的所需数据集的大小；

判断所述节点数据集大小的相对值size_i与所需数据集的最小值minsize和所需数据集的最大值maxsize之间的大小关系；若该节点的数据集大小相对值小于所需数据集最小值，则令该节点的数据集大小相对值等于所需数据集最小值；若该节点的数据集大小相对值大于所需数据集最大值，则令该节点的数据集大小相对值等于所需数据集最大值；

按照公式计算该节点的数据集分值datascore_i。

可选的，所述方法还包括：获取节点的数据集更新时间；所述得到节点的数据集分值，包括：