[发明专利]一种模型训练的方法、相关装置及设备在审
申请号: | 202110888099.3 | 申请日: | 2021-08-03 |
公开(公告)号: | CN114330372A | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 梁云龙;孟凡东;徐金安;陈钰枫 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/44 | 分类号: | G06F40/44;G06F40/126;G06F40/35;G06N3/04 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 李杭 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 方法 相关 装置 设备 | ||
1.一种模型训练的方法,其特征在于,包括:
获取源端文本集合、目标文本集合以及训练样本对,其中,所述源端文本集合包括第一语种对应的源端文本,所述目标文本集合包括第二语种对应的目标文本,所述训练样本对包括所述第一语种对应的初始源端文本以及所述第二语种对应的期望目标文本;
将所述源端文本集合、所述目标文本集合以及所述期望目标文本作为对话理解模型的输入,通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度,其中,所述第一文本序列对应于所述第二语种,所述第二文本序列对应于所述第二语种,所述文本相似度表示所述期望目标文本与所述目标文本集合的关联程度;
将所述源端文本集合以及训练样本对作为文本翻译模型的输入,通过所述文本翻译模型获取第三文本序列,其中,所述第三文本序列对应于所述第二语种;
根据所述第一文本序列、所述第二文本序列、所述文本相似度、第三文本序列以及所述期望目标文本,对所述文本翻译模型的模型参数进行更新。
2.根据权利要求1所述的方法,其特征在于,所示对话理解模型包括单语言理解模型、跨语言理解模型以及对话判别模型;
所述将所述源端文本集合、所述目标文本集合以及所述期望目标文本作为对话理解模型的输入,通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度,包括:
获取所述源端文本集合所对应的源端文本嵌入向量,并,获取所述目标文本集合所对应的目标文本嵌入向量,并,获取所述期望目标文本所对应的期望目标嵌入向量;
将所述目标文本嵌入向量以及所述期望目标嵌入向量作为所述单语言理解模型的输入,通过所述单语言理解模型获取所述第一文本序列;
将所述源端文本嵌入向量以及所述期望目标嵌入向量作为所述跨语言理解模型的输入,通过所述跨语言理解模型获取所述第二文本序列;
将所述目标文本嵌入向量以及所述期望目标嵌入向量作为所述对话判别模型的输入,通过所述对话判别模型获取所述文本相似度。
3.根据权利要求2所述的方法,其特征在于,所述将所述目标文本嵌入向量以及所述期望目标嵌入向量作为所述单语言理解模型的输入,通过所述单语言理解模型获取所述第一文本序列,包括:
将所述目标文本嵌入向量作为所述单语言理解模型的编码器的输入,通过所述单语言理解模型的编码器获取第一目标文本编码序列,所述第一目标文本编码序列为所述目标文本嵌入向量属于第二语种的序列表示;
将所述第一目标文本编码序列以及所述目标期望嵌入向量作为所述单语言理解模型的解码器的输入,通过所述单语言理解模型的解码器获取所述第一文本序列。
4.根据权利要求2所述的方法,其特征在于,所述将所述源端文本嵌入向量以及所述期望目标嵌入向量作为所述跨语言理解模型的输入,通过所述跨语言理解模型获取所述第二文本序列,包括:
将所述源端文本嵌入向量作为所述跨语言理解模型的编码器的输入,通过所述跨语言理解模型的编码器获取源端文本编码序列,所述源端文本编码序列为所述源端文本嵌入向量属于第二语种的序列表示;
将所述源端文本编码序列以及所述目标期望嵌入向量作为所述跨语言理解模型的解码器的输入,通过所述跨语言理解模型的解码器获取所述第二文本序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110888099.3/1.html,转载请声明来源钻瓜专利网。