[发明专利]用于训练模型的方法、装置、设备以及存储介质

权利要求书

1.一种用于训练模型的方法，包括：

获取已训练的第一模型和待训练的第二模型；

向所述第一模型输入语料，得到所述语料的意图识别结果和词槽预测结果；

向所述第二模型输入所述语料，将所述意图识别结果和所述词槽预测结果作为所述第二模型的学习目标，训练所述第二模型；所述向所述第二模型输入所述语料，将所述意图识别结果和词槽预测结果作为所述第二模型的学习目标，训练所述第二模型，包括：对所述输入语料进行分词以及确定分词结果的嵌入向量；将所述嵌入向量输入双向循环网络；根据所述双向循环网络的输出以及所述意图识别结果和词槽预测结果，训练所述第二模型。

2.根据权利要求1所述的方法，其中，所述意图识别结果包括预测意图和意图概率分布；以及

所述向所述第二模型输入所述语料，将所述意图识别结果和词槽预测结果作为所述第二模型的学习目标，训练所述第二模型，包括：

将所述预测意图作为所述第二模型的意图学习硬目标，将所述意图概率分布作为所述第二模型的意图学习软目标，将所述词槽预测结果作为所述第二模型的词槽学习目标，训练所述第二模型。

3.根据权利要求1所述的方法，其中，所述第一模型通过以下训练步骤得到：

获取预训练语言模型、意图识别任务数据和词槽预测任务数据；

利用所述意图识别任务数据和词槽预测任务数据对所述预训练语言模型进行微调，得到所述第一模型。

4.根据权利要求3所述的方法，其中，所述意图识别任务数据包括输入语料和标注意图，所述词槽预测任务数据包括输入语料和标注词槽；以及

所述利用所述意图识别任务数据和词槽预测任务数据对所述预训练语言模型进行微调，得到所述第一模型，包括：

将所述输入语料输入所述预训练语言模型，得到所述输入语料的字向量；

将所述字向量输入双向循环网络；

根据所述双向循环网络的输出以及所述标注意图、所述标注词槽，对所述预训练语言模型进行微调，得到所述第一模型。

5.一种用于训练模型的装置，包括：

获取单元，被配置成获取已训练的第一模型和待训练的第二模型；

预测单元，被配置成向所述第一模型输入语料，得到所述语料的意图识别结果和词槽预测结果；

第一训练单元，被配置成向所述第二模型输入所述语料，将所述意图识别结果和所述词槽预测结果作为所述第二模型的学习目标，训练所述第二模型；所述第一训练单元进一步被配置成：对所述输入语料进行分词以及确定分词结果的嵌入向量；将所述嵌入向量输入双向循环网络；根据所述双向循环网络的输出以及所述意图识别结果和词槽预测结果，训练所述第二模型。

6.根据权利要求5所述的装置，其中，所述意图识别结果包括预测意图和意图概率分布；以及

所述第一训练单元进一步被配置成：

将所述预测意图作为所述第二模型的意图学习硬目标，将所述意图概率分布作为所述第二模型的意图学习软目标，将所述词槽预测结果作为所述第二模型的词槽学习目标，训练所述第二模型。

7.根据权利要求5所述的装置，其中，所述装置还包括第二训练单元，所述第二训练单元被配置成通过以下训练步骤得到所述第一模型：

获取预训练语言模型、意图识别任务数据和词槽预测任务数据；

利用所述意图识别任务数据和词槽预测任务数据对所述预训练语言模型进行微调，得到所述第一模型。

8.根据权利要求7所述的装置，其中，所述意图识别任务数据包括输入语料和标注意图，所述词槽预测任务数据包括输入语料和标注词槽；以及

所述第二训练单元进一步被配置成：

将所述输入语料输入所述预训练语言模型，得到所述输入语料的字向量；

将所述字向量输入双向循环网络；

根据所述双向循环网络的输出以及所述标注意图、所述标注词槽，对所述预训练语言模型进行微调，得到所述第一模型。