[发明专利]回复模型的获取方法、回复语句的获取方法、装置及设备在审
申请号: | 202111221321.0 | 申请日: | 2021-10-20 |
公开(公告)号: | CN114281958A | 公开(公告)日: | 2022-04-05 |
发明(设计)人: | 吴志勇;闭玮 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/33;G06F16/36 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 孙晓丽 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 回复 模型 获取 方法 语句 装置 设备 | ||
1.一种回复模型的获取方法,其特征在于,所述方法包括:
获取第一训练样本,所述第一训练样本基于参考发言语句、参考回复语句和所述参考发言语句中的各个第一词汇对应的第一知识语句生成;
基于所述第一训练样本训练得到回复模型,所述回复模型包括编码子模型和解码子模型,所述编码子模型用于将输入的目标发言语句编码为目标向量,所述解码子模型用于根据所述目标向量输出目标回复语句。
2.根据权利要求1所述的方法,其特征在于,所述第一训练样本包括第一子训练样本和第二子训练样本,所述获取第一训练样本,包括:
获取所述参考发言语句,确定所述参考发言语句中的各个第一词汇对应的第一知识语句,基于所述参考发言语句中的各个第一词汇对应的第一知识语句生成所述第一子训练样本;
确定所述参考发言语句对应的参考回复语句,基于所述参考回复语句生成所述第二子训练样本;
所述基于所述第一训练样本训练得到回复模型,包括:
基于所述第一子训练样本和所述第二子训练样本,训练得到所述编码子模型和所述解码子模型。
3.根据权利要求2所述的方法,其特征在于,所述确定所述参考发言语句中的各个第一词汇对应的第一知识语句,包括:
将所述参考发言语句输入检索模型,所述检索模型用于将所述参考发言语句中的各个第一词汇分别编码为第一向量,输出各个第一向量,所述各个第一词汇与所述各个第一向量一一对应,其中,所述检索模型是基于第二训练样本训练得到的,所述第二训练样本基于第二词汇、所述第二词汇所在的语句和所述第二词汇对应的第二知识语句生成;
获得所述检索模型输出的所述各个第一向量;
对于任一第一向量,从知识库包括的备选知识语句中检索得到与所述任一第一向量相关性最高的备选知识语句,得到所述任一第一向量对应的第一知识语句。
4.根据权利要求3所述的方法,其特征在于,所述将所述参考发言语句输入检索模型之前,所述方法还包括:
获取词条对应的描述语句,所述描述语句包括至少一个针对所述词条的描述词汇;
对于任一描述词汇,将所述任一描述词汇确定为所述第二词汇,将所述描述语句确定为所述第二词汇所在的语句和所述第二词汇对应的第二知识语句;
基于所述第二词汇、所述第二词汇所在的语句和所述第二词汇对应的第二知识语句生成所述第二训练样本,基于所述第二训练样本训练得到所述检索模型。
5.根据权利要求4所述的方法,其特征在于,所述第二训练样本包括第一正训练样本和第一负训练样本,所述基于所述第二词汇、所述第二词汇所在的语句和所述第二词汇对应的第二知识语句生成所述第二训练样本,包括:
对于任一第二词汇,将所述任一第二词汇、所述任一第二词汇所在的语句和所述第二词汇对应的第二知识语句组成所述第一正训练样本,将所述任一第二词汇、所述任一第二词汇所在的语句和其他第二词汇对应的第二知识语句组成所述第一负训练样本,所述其他第二词汇对应的第二知识语句与所述任一第二词汇不相关。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第二训练样本训练得到所述检索模型,包括:
对于任一第二词汇,将所述任一第二词汇所在的语句输入第一初始模型,得到所述第一初始模型输出的所述任一第二词汇对应的第二向量;
确定所述第二向量与所述第一正训练样本中的第二知识语句之间的第一函数值,确定所述第二向量与所述第一负训练样本中的第二知识语句之间的第二函数值;
基于所述第一函数值和所述第二函数值确定第一损失函数值,基于所述第一损失函数值将所述第一初始模型更新为所述检索模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111221321.0/1.html,转载请声明来源钻瓜专利网。