[发明专利]一种分布式训练任务处理方法、装置、设备及存储介质

权利要求书

1.一种分布式训练任务处理方法，其特征在于，包括：

创建分布式训练任务的运行环境，将所述分布式训练任务放入所述运行环境，并将所述运行环境调度到服务器上；

监测所述运行环境的状态及所述服务器的状态，若所述运行环境的状态及所述服务器的状态均为不正常，则将所述分布式训练任务的状态设置为需要容错；

创建新运行环境，将状态为需要容错的目标分布式训练任务放入所述新运行环境，并将所述新运行环境调度到状态为正常的服务器上，以利用状态为正常的服务器对所述目标分布式训练任务进行训练；

在将所述新运行环境调度到状态为正常的服务器上之后，还包括：

将所述目标分布式训练任务的容错次数加1；其中，每个所述目标分布式训练任务的初始容错次数均为0；

相应地，在创建新运行环境之前，还包括：

判断所述目标分布式训练任务的容错次数是否小于容错阈值，若是，则执行所述创建新运行环境的步骤，若否，则终止所述目标分布式训练任务并发出处理异常的通知。

2.根据权利要求1所述的分布式训练任务处理方法，其特征在于，在终止所述目标分布式训练任务之后，还包括：

若接收到所述目标分布式训练任务，则记录所述目标分布式训练任务在接收后的新容错次数；

判断所述新容错次数是否小于新容错阈值；其中，所述新容错阈值小于所述目标分布式训练任务对应的容错阈值；

若是，则执行所述创建新运行环境的步骤；若否，则终止所述目标分布式训练任务并发出处理异常的通知，且将所述目标分布式训练任务的状态设置为不可容错。

3.根据权利要求1所述的分布式训练任务处理方法，其特征在于，若所述运行环境的状态及所述服务器的状态均为不正常，还包括：

记录所述服务器的不正常次数；

相应地，将所述新运行环境调度到状态为正常的服务器上，包括：

获取状态为正常的服务器的不正常次数，并将所述新运行环境调度到不正常次数最小的服务器上。

4.根据权利要求1所述的分布式训练任务处理方法，其特征在于，创建分布式训练任务的运行环境，包括：

通过kubernetes创建所述分布式训练任务的pod。

5.根据权利要求1所述的分布式训练任务处理方法，其特征在于，在监测所述运行环境的状态及所述服务器的状态时，还包括：

若所述运行环境的状态为运行中，则结束所述监测所述运行环境的状态及所述服务器的状态的步骤，并上报所述运行环境的状态；

若所述运行环境的状态为不正常且所述服务器的状态为正常，则结束所述监测所述运行环境的状态及所述服务器的状态的步骤，并上报所述运行环境的状态及所述服务器的状态。

6.根据权利要求5所述的分布式训练任务处理方法，其特征在于，在将所述分布式训练任务的状态设置为需要容错之后，还包括：

上报所述分布式训练任务的状态。

7.一种分布式训练任务处理装置，其特征在于，包括：

第一创建模块，用于创建分布式训练任务的运行环境，将所述分布式训练任务放入所述运行环境，并将所述运行环境调度到服务器上；

监测模块，用于监测所述运行环境的状态及所述服务器的状态，若所述运行环境的状态及所述服务器的状态均为不正常，则将所述分布式训练任务的状态设置为需要容错；

第二创建模块，用于创建新运行环境，将状态为需要容错的目标分布式训练任务放入所述新运行环境，并将所述新运行环境调度到状态为正常的服务器上，以利用状态为正常的服务器对所述目标分布式训练任务进行训练；

还包括：

加一模块，用于在将所述新运行环境调度到状态为正常的服务器上之后，将所述目标分布式训练任务的容错次数加1；其中，每个所述目标分布式训练任务的初始容错次数均为0；

相应地，还包括：

第一判断模块，用于在创建新运行环境之前，判断所述目标分布式训练任务的容错次数是否小于容错阈值，若是，则执行所述创建新运行环境的步骤，若否，则终止所述目标分布式训练任务并发出处理异常的通知。