[发明专利]用于训练模型的方法、装置、设备、介质和产品

说明书

本公开提供了用于训练模型的方法、装置、设备、介质和产品，涉及计算机技术领域，尤其涉及人工智能技术，可应用于深度学习中的模型压缩场景。具体实现方案为：获取待训练学生模型集合；对于待训练学生模型集合中的每个待训练学生模型，确定与该待训练学生模型对应的教师模型；向各个教师模型发送训练数据，并接收各个教师模型基于训练数据返回的软标签集合；基于软标签集合，对待训练学生模型集合中各个待训练学生模型进行训练，得到各个训练完成的学生模型。本实现方式可以提高模型训练效果。

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能技术，可应用于深度学习中的模型压缩场景。

背景技术

目前，深度神经网络已被广泛应用至计算机视觉、自然语言处理等技术领域。由于深度神经网络需要的计算复杂度高，因而对于内存需求大，从而导致深度神经网络难以应用在小型设备上。

现在通常采用模型压缩技术，基于将教师模型压缩为学生模型，来降低深度神经网络模型的计算复杂度。但是，在模型压缩的模型训练过程中，往往需要预先设定进行模型训练的固定资源，如果固定资源的设定不合理，则会导致模型训练效果较差的问题。

发明内容

本公开提供了一种用于训练模型的方法、装置、设备、介质和产品。

根据本公开的一方面，提供了一种用于训练模型的方法，包括：获取待训练学生模型集合；对于待训练学生模型集合中的每个待训练学生模型，确定与该待训练学生模型对应的教师模型；向各个教师模型发送训练数据，并接收各个教师模型基于训练数据返回的软标签集合；基于软标签集合，对待训练学生模型集合中各个待训练学生模型进行训练，得到各个训练完成的学生模型。

根据本公开的另一方面，提供了一种用于训练模型的装置，包括：学生获取单元，被配置成获取待训练学生模型集合；教师确定单元，被配置成对于待训练学生模型集合中的每个待训练学生模型，确定与该待训练学生模型对应的教师模型；软标签确定单元，被配置成向各个教师模型发送训练数据，并接收各个教师模型基于训练数据返回的软标签集合；模型训练单元，被配置成基于软标签集合，对待训练学生模型集合中各个待训练学生模型进行训练，得到各个训练完成的学生模型。

根据本公开的另一方面，提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任意一项用于训练模型的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上任意一项用于训练模型的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上任意一项用于训练模型的方法。

根据本公开的技术，提供一种用于训练模型的方法，能够提高模型训练效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的用于训练模型的方法的一个实施例的流程图；

图3是根据本公开的用于训练模型的方法的一个应用场景的示意图；

图4是根据本公开的用于训练模型的方法的另一个实施例的流程图；

图5是根据本公开的用于训练模型的装置的一个实施例的结构示意图；

图6是用来实现本公开实施例的用于训练模型的方法的电子设备的框图。