[发明专利]一种模型训练和意图识别方法、装置、设备及存储介质

说明书

本申请公开了一种模型训练和意图识别方法、装置、设备及存储介质，涉及人工智能技术领域。其中，模型训练方法为：根据训练任务数据集，对预训练模型进行至少两次沉淀训练，得到预训练模型的强化模型；其中，各次沉淀训练的训练对象至少包括底层网络、预测层网络和逐次递减的中高层网络；将强化模型中的至少两个网络作为目标网络，并根据目标网络构建蒸馏模型，其中，目标网络包含特征识别网络和所述预测层网络；特征识别网络至少包括底层网络；通过强化模型的目标网络，抽取训练任务数据集的目标知识；根据目标知识和训练任务数据集，对蒸馏模型进行训练，得到目标学习模型，以提高目标学习模型预测的效率和准确性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及人工智能技术。

背景技术

随着人工智能技术的发展，深度学习模型在人机交互领域的应用越来越广泛。预训练模型作为深度学习模型的一种，其结构复杂，模型参数庞大，所以预训练模型可能在运行阶段耗时长，速度慢。为了提高预训练模型的响应速度，现有技术通常需要研发人员从预训练模型中，人工选出权重值较小的网络层，并将其从预训练模型中裁剪掉，以实现对预训练模型的压缩，降低预训练模型的结构复杂度。但是采用该方式裁剪后的预训练模型，受人为因素影响较大，准确性较低，严重影响人机交互效果，亟需改进。

发明内容

提供了一种模型训练和意图识别方法、装置、设备及存储介质。

根据第一方面，提供了一种基于知识蒸馏的模型训练方法，该方法包括：

根据训练任务数据集，对预训练模型进行至少两次沉淀训练，得到所述预训练模型的强化模型；其中，各次所述沉淀训练的训练对象至少包括所述底层网络、预测层网络和逐次递减的中高层网络，所述预训练模型自底向上包括所述底层网络、至少一个所述中高层网络和所述预测层网络；

将所述强化模型中的至少两个网络作为目标网络，并根据所述目标网络构建蒸馏模型，其中，所述目标网络包含特征识别网络和所述预测层网络；所述特征识别网络至少包括所述底层网络；

通过所述强化模型的目标网络，抽取所述训练任务数据集的目标知识；

根据所述目标知识和所述训练任务数据集，对所述蒸馏模型进行训练，得到目标学习模型。

根据第二方面，提供了一种意图识别方法，该方法包括：

获取人机交互设备采集的用户语音数据；

将所述用户语音数据输入目标学习模型，以获取所述目标学习模型输出的用户意图识别结果；其中，所述目标学习模型基于本申请任一实施例所述的基于知识蒸馏的模型训练方法训练而确定；

根据所述用户意图识别结果确定所述人机交互设备的响应结果。

根据第三方面，提供了一种基于知识蒸馏的模型训练装置，该装置包括：

沉淀训练模块，用于根据训练任务数据集，对预训练模型进行至少两次沉淀训练，得到所述预训练模型的强化模型；其中，各次所述沉淀训练的训练对象至少包括所述底层网络、预测层网络，和逐次递减的中高层网络，所述预训练模型自底向上包括所述底层网络、至少一个所述中高层网络和所述预测层网络；

蒸馏模型构建模块，用于将所述强化模型中的至少两个网络作为目标网络，并根据所述目标网络构建蒸馏模型，其中，所述目标网络包含特征识别网络和所述预测层网络；所述特征识别网络至少包括所述底层网络；

目标知识抽取模块，用于通过所述强化模型的目标网络，抽取所述训练任务数据集的目标知识；

蒸馏模型训练模块，用于根据所述目标知识和所述训练任务数据集，对所述蒸馏模型进行训练，得到目标学习模型。

根据第四方面，提供了一种意图识别装置，该装置包括：