[发明专利]一种训练任务处理方法、装置、设备及可读存储介质

说明书

本申请公开了一种训练任务处理方法、装置、设备及计算机可读存储介质，方法应用在深度学习平台中，包括：判断任务属性中的资源占用量是否小于或等于深度学习平台的当前可用资源量，若否，判断资源占用量与当前可用资源量的比值是否小于预设值；若小于，利用当前可用资源量依次对拆分成的子启动脚本进行处理；若不小于，将训练任务的任务属性存放在队列中；获取深度学习平台的当前可用资源量，并对队列进行轮询，以在队列中存在资源占用量小于或等于当前可用资源量的目标任务属性时对目标任务属性进行处理。本申请公开的上述技术方案，可以提高深度学习平台的资源利用率，并可以降低深度学习平台的闲置率，减少深度学习平台资源和时间的浪费。

技术领域

本申请涉及深度学习技术领域，更具体地说，涉及一种训练任务处理方法、装置、设备及计算机可读存储介质。

背景技术

深度学习需依赖深度学习平台进行训练任务的训练和学习，其中，该平台可以为众多用户提供训练任务提交服务和处理服务。

目前，深度学习平台在接收到用户提交的训练任务时，若训练任务在训练时所需占用的资源大于深度学习平台的当前可用资源，则该平台会直接拒绝用户提交训练任务，而这种情况后续会出现深度学习平台当前可用资源能够进行训练任务的处理但因其没有及时接收到训练任务而导致其自身处于闲置状态，从而会造成深度学习平台资源的浪费，并会造成时间的浪费。

综上所述，如何降低深度学习平台的闲置率，以减少深度学习平台资源和时间的浪费，是目前本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的是提供一种训练任务处理方法、装置、设备及计算机可读存储介质，用于降低深度学习平台的闲置率，以减少深度学习平台资源和时间的浪费。

为了实现上述目的，本申请提供如下技术方案：

一种训练任务处理方法，应用在深度学习平台中，包括：

接收训练任务并获取所述训练任务的任务属性；其中，所述任务属性包括所述训练任务在训练时的资源占用量、启动脚本；

判断所述资源占用量是否小于或等于所述深度学习平台的当前可用资源量，若大于所述当前可用资源量，则判断所述资源占用量与所述当前可用资源量的比值是否小于预设值；

若小于所述预设值，则将所述任务属性中的启动脚本拆分成多个子启动脚本，并利用所述当前可用资源量依次对所述子启动脚本进行处理；其中，每个所述子启动脚本对应的子资源占用量均小于所述当前可用资源量；

若不小于所述预设值，则将所述训练任务的任务属性存放在预先创建的队列中；获取所述深度学习平台的当前可用资源量，并对所述队列进行轮询，以确定所述队列中是否存在资源占用量小于或等于所述当前可用资源量的目标任务属性；若存在所述目标任务属性，则将所述目标任务属性中所述队列中移除，并对所述目标任务属性进行处理。

优选的，利用所述当前可用资源量依次对所述子启动脚本进行处理，包括：

按照所述子启动脚本构成所述启动脚本的顺序利用所述当前可用资源量依次对所述子启动脚本进行处理。

优选的，按照所述子启动脚本构成所述启动脚本的顺序利用所述当前可用资源量依次对所述子启动脚本进行处理，包括：

从未处理的所述子启动脚本中选取多个目标子启动脚本，并利用所述当前可用资源量对所述目标子启动脚本进行处理；其中，所述选取出的所述目标子启动脚本的子资源占用量之和小于或等于所述当前可用资源量；

待完成对所述目标子启动脚本的处理，以空闲出所述当前可用资源量之后，则返回所述从未处理的所述子启动脚本中选取多个目标子启动脚本的步骤，直至处理完所有的所述子启动脚本为止。

优选的，在对所述队列进行轮询之前，还包括：