[发明专利]用于训练模型的方法、装置、设备、介质和产品

权利要求书

1.一种用于训练模型的方法，包括：

获取待训练学生模型集合；

对于所述待训练学生模型集合中的每个待训练学生模型，确定与该待训练学生模型对应的教师模型；

向各个教师模型发送训练数据，并接收所述各个教师模型基于所述训练数据返回的软标签集合；其中，所述各个教师模型基于多个动态计算资源组成，所述动态计算资源包括可以动态调整的图形处理器或者中央处理器；

基于所述软标签集合，对所述待训练学生模型集合中各个待训练学生模型进行训练，得到各个训练完成的学生模型；

所述对于所述待训练学生模型集合中的每个待训练学生模型，确定与该待训练学生模型对应的教师模型，包括：

对于所述待训练学生模型集合中的每个待训练学生模型，确定该待训练学生模型的模型性能信息；其中，所述模型性能信息用于描述该待训练学生模型的数据处理能力，所述模型性能信息包括处理给定资源所需要的耗费时长；

基于所述模型性能信息，确定模型数量，包括：基于该待训练学生模型处理给定资源所需要的耗费时长和教师模型处理给定资源所需要的耗费时长的比值，确定所述模型数量；

从预设的教师模型集合中确定所述模型数量个教师模型，作为该待训练学生模型对应的教师模型。

2.根据权利要求1所述的方法，其中，所述从预设的教师模型集合中确定所述模型数量个教师模型，作为该待训练学生模型对应的教师模型，包括：

对于所述预设的教师模型集合中的每个教师模型，响应于确定该教师模型不满足预设的停用条件，将该教师模型确定为候选模型；

从各个候选模型中确定所述模型数量个教师模型，作为该待训练学生模型对应的教师模型。

3.根据权利要求2所述的方法，其中，所述预设的停用条件包括：

该教师模型调度给待训练学生模型的时机不满足预设的时机条件；或者

该教师模型调度给的待训练学生模型未向该教师模型发送训练数据；或者

该教师模型调度给的待训练学生模型未等待该教师模型返回的软标签；或者

该教师模型调度给的待训练学生模型处于等待软标签的状态。

4.根据权利要求1所述的方法，其中，所述方法还包括：

响应于确定所述待训练学生模型集合中存在不可用模型或者存在新增模型，暂停对所述待训练学生模型集合中各个待训练学生模型进行训练，并从预设的检查点重新获取所述待训练学生模型集合，以及继续对重新获取的所述待训练学生模型集合中各个待训练学生模型进行训练。

5.根据权利要求1所述的方法，其中，所述向各个教师模型发送训练数据，包括：

对于所述待训练学生模型集合中的每个待训练学生模型，确定该待训练学生模型对应的训练数据以及软标签信息；

基于所述软标签信息，向该待训练学生模型对应的教师模型发送该待训练学生模型对应的训练数据。

6.根据权利要求5所述的方法，其中，所述方法还包括：

基于所述软标签信息，确定该待训练学生模型的未使用软标签数量；

响应于确定所述未使用软标签数量大于预设的第一阈值，停止向该待训练学生模型对应的教师模型发送该待训练学生模型对应的训练数据，直至所述未使用软标签数量小于预设的第二阈值；所述第一阈值大于所述第二阈值。

7.根据权利要求6所述的方法，其中，所述基于所述软标签信息，向该待训练学生模型对应的教师模型发送该待训练学生模型对应的训练数据，包括：

响应于确定所述未使用软标签数量为预设的数量阈值，对该待训练学生模型对应的教师模型的数量进行扩增，得到扩增后的教师模型；所述数量阈值小于所述第二阈值；

向所述扩增后的教师模型发送给待训练学生模型对应的训练数据。