[发明专利]多轮对话的处理方法及处理装置、车辆、存储介质有效
申请号: | 202010009323.2 | 申请日: | 2020-01-06 |
公开(公告)号: | CN111209383B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 申众;于淼 | 申请(专利权)人: | 广州小鹏汽车科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06F16/35 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 邵泳城 |
地址: | 510640 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 轮对 处理 方法 装置 车辆 存储 介质 | ||
1.一种多轮对话的处理方法,其特征在于,包括:
基于多任务联合训练模型提取查询文本的多个特征,所述多任务联合训练模型包括基于预训练模型进行多任务联合微调训练获得的模型,所述多个特征包括领域、意图、实体和槽位中的至少一个;
对所述多个特征进行映射以获取特征结构,其中,对所述领域、意图、实体和槽位进行特征选择和转换,根据特征映射将所述多个特征转化成适合对话状态模型需要的特征结构,所述特征结构与所述对话状态模型的类型相关;
将所述特征结构作为所述对话状态模型的输入以预测回复文本;
其中,基于多任务联合训练模型提取查询文本的多个特征,包括:
基于所述预训练模型对所述查询文本进行多任务联合微调训练以使每个任务的损失函数收敛,在所述多任务联合微调训练中对所述多任务的每个任务进行交替训练直至所述每个任务的损失函数收敛,所述任务与所述特征相对应;
在所述每个任务的损失函数收敛的情况下,对所述查询文本提取所述多个特征。
2.根据权利要求1所述的处理方法,其特征在于,基于所述预训练模型对所述查询文本进行多任务联合微调训练以使每个任务的损失函数收敛,包括:
基于所述预训练模型对所述查询文本进行处理以使所述预训练模型输出隐含层向量;
采用所述隐含层向量作为所述多任务的每个任务的输入;
根据所述输入分别确定所述每个任务的损失及所述损失的权重;
根据所述损失的权重交替训练所述每个任务以使对应的损失函数收敛。
3.根据权利要求2所述的处理方法,其特征在于,根据所述损失的权重交替训练所述每个任务以使对应的损失函数收敛,包括:
确定所述多任务在每个训练周期的一个目标任务;
遮掩除所述目标任务的其他任务的损失,并训练所述目标任务;
交替训练直至完成所述每个任务对应的损失函数收敛。
4.根据权利要求3所述的处理方法,其特征在于,确定所述多任务在每个训练周期的一个目标任务,包括:
根据所述每个任务对应的损失的权重确定所述目标任务。
5.根据权利要求1-4任一项所述的处理方法,其特征在于,所述多个特征包括领域、意图、实体和/或槽位,所述多任务包括领域分类任务、意图分类任务、实体和/或槽位识别任务。
6.根据权利要求1所述的处理方法,其特征在于,所述特征结构与所述对话状态模型的类型相关。
7.根据权利要求1所述的处理方法,其特征在于,所述处理方法包括:
获取查询语音;
将所述查询语音转换为所述查询文本。
8.一种多轮对话的处理装置,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述程序时,实现权利要求1-7任一项所述的处理方法。
9.一种车辆,其特征在于,包括权利要求8所述的处理装置。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行的情况下,实现权利要求1-7任一项所述的处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州小鹏汽车科技有限公司,未经广州小鹏汽车科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010009323.2/1.html,转载请声明来源钻瓜专利网。