[发明专利]意图识别模型的训练方法、意图识别方法、装置及介质在审
申请号: | 202211606254.9 | 申请日: | 2022-12-14 |
公开(公告)号: | CN116401342A | 公开(公告)日: | 2023-07-07 |
发明(设计)人: | 田垠;冯旻伟;尹竞成;阮良 | 申请(专利权)人: | 杭州网易智企科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06F40/30;G06F18/24 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 高梦梦 |
地址: | 310052 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 意图 识别 模型 训练 方法 装置 介质 | ||
1.一种意图识别模型的训练方法,其特征在于,所述意图识别模型包括生成模型与意图分类模型,所述方法包括:
获取第一原始数据,所述第一原始数据包括第一问题信息与所述第一问题信息对应的第一回复信息;
将所述第一原始数据输入所述生成模型进行回复信息预测,以生成包含有多个第一预测回复信息的生成结果;
将所述第一问题信息与所述生成结果中的每个所述第一预测回复信息输入所述意图分类模型进行意图预测,以生成候选意图集;
基于所述第一原始数据、所述候选意图集与第一意图标签,确定第一训练数据;
基于所述第一训练数据对所述意图识别模型进行训练,得到训练好的意图识别模型,其中,在对所述意图识别模型进行训练时,第一训练目标为所述意图识别模型输出的第一预测意图信息符合所述第一意图标签。
2.如权利要求1所述的意图识别模型的训练方法,其特征在于,所述将所述第一原始数据输入所述生成模型进行回复信息预测,以生成包含有多个第一预测回复信息的生成结果,包括:
根据所述第一原始数据生成第一模型输入信息,所述第一模型输入信息包括所述第一问题信息、所述第一回复信息对应的第一截断回复信息和第一掩码信息;
对所述第一模型输入信息进行自注意力编码,得到所述第一模型输入信息对应的第一模型编码向量;
将所述第一截断回复信息的最后n个字符与所述第一掩码信息的所有字符作为第一目标提取位置,从所述第一模型编码向量中提取所述第一目标提取位置对应的编码向量,得到第二模型编码向量,n为正整数;
对所述第二模型编码向量进行解码,得到第一解码向量;
对所述第一解码向量进行第一处理,得到第一字符概率矩阵,所述第一字符概率矩阵表征所述第一目标提取位置中每个位置对应不同字符的概率;
对所述第一解码向量进行第二处理,得到第一转移概率矩阵,所述第一转移概率矩阵表征所述第一目标提取位置中每个位置到其他位置的跳转概率;
基于所述第一字符概率矩阵和所述第一转移概率矩阵,计算不同的第一候选文本对应的第一文本概率,将所述第一文本概率按照从大到小进行排序,并将排在前m个的第一文本概率对应的第一候选文本作为所述生成结果中的多个第一预测回复信息,m为正整数。
3.如权利要求1所述的意图识别模型的训练方法,其特征在于,所述基于所述第一训练数据对所述意图识别模型进行训练,得到训练好的意图识别模型,包括:
采用所述意图分类模型对所述第一训练数据中的所述候选意图集的每个候选意图信息的文本进行编码,得到第一意图文本编码;
根据所述第一训练数据中的所述第一原始数据生成第一模型输入信息,并采用所述生成模型对所述第一模型输入信息进行自注意力编码,得到所述第一模型输入信息对应的第一模型编码向量;
基于所述第一意图文本编码与所述第一模型编码向量计算注意力权重,得到第一意图注意力编码;
对所述第一意图注意力编码进行线性变换处理与归一化处理,得到所述候选意图集的每个候选意图信息对应的第一意图概率;
根据所述第一意图概率确定所述第一预测意图信息;
根据所述第一预测概率信息与所述第一意图标签,对基于所述第一训练目标构建的损失函数对所述意图识别模型进行训练,以得到所述训练好的意图识别模型。
4.一种意图识别方法,其特征在于,所述方法包括:
获取待处理数据,所述待处理数据包括目标问题信息与所述目标问题信息对应的实时回复信息,所述目标问题信息为外呼机器人播报的问题信息,所述实时回复信息包括对象针对所述目标问题信息未回复完毕的不完整回复信息;
基于训练好的意图识别模型对所述待处理数据进行意图识别,得到所述待处理数据对应的目标意图信息,其中,所述训练好的意图识别模型是根据权利要求1-3中任一项所述的意图识别模型的训练方法进行训练得到的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州网易智企科技有限公司,未经杭州网易智企科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211606254.9/1.html,转载请声明来源钻瓜专利网。