[发明专利]基于零次学习的中泰双语语料生成方法及装置有效
申请号: | 201911338831.9 | 申请日: | 2019-12-23 |
公开(公告)号: | CN111144140B | 公开(公告)日: | 2023-07-04 |
发明(设计)人: | 张睦 | 申请(专利权)人: | 语联网(武汉)信息技术有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/56;G06F40/211;G06N3/0442;G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 张秀程 |
地址: | 430206 湖北省武汉市东湖新技术开*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 学习 双语 语料 生成 方法 装置 | ||
1.一种基于零次学习的中泰双语语料生成方法,其特征在于,包括:
获取中文原文句子和泰文原文句子;
将所述中文原文句子输入至预先训练完成的第一翻译模型,输出泰文译文句子,将所述泰文原文句子输入至预先完成的第二翻译模型,输出中文译文句子;
其中,所述第一翻译模型和第二翻译模型基于零次学习,以高资源的中英双语语料、高资源的英泰双语语料和低资源的中泰双语语料从两个翻译方向联合训练而成;
所述第一翻译模型和第二翻译模型的训练方法包括:
基于零次学习以中文到英文的语料和英文到泰文的语料训练所述第一翻译模型,基于零次学习以泰文到英文的语料和英文到中文的语料训练所述第二翻译模型;
将训练后的所述第一翻译模型的输出端和训练后的所述第二翻译模型的输入端连接,获得第一联合模型,根据中文到泰文的语料训练所述第一联合模型;
将训练后的所述第一联合模型中的第二翻译模型的输出端与训练后的所述第一联合模型中的第一翻译模型的输入锻炼连接,获得第二联合模型,根据泰文到中文的语料训练所述第二联合模型,获得训练完成的第一翻译模型和第二翻译模型。
2.根据权利要求1所述的基于零次学习的中泰双语语料生成方法,其特征在于,所述基于零次学习以中文到英文的语料和英文到泰文的语料训练所述第一翻译模型,包括:
将中文到英文的语料与英文到泰文的语料进行合并,获得第一数据集,在所述第一数据集中每个语料的原文中增加标识信息,所述标识信息用于表征所述原文指定的译文语种;
从所述第一数据集中选择语料,根据语料的原文对所述第一翻译模型进行训练,输出预测的译文,计算所述预测的译文与所述原文的真实译文之间的损失值,根据所述损失值更新所述第一翻译模型中的参数,直至所述损失值小于预设阈值或者训练次数达到预设次数。
3.根据权利要求1或2所述的基于零次学习的中泰双语语料生成方法,其特征在于,所述根据中文到泰文的语料训练所述第一联合模型,具体为:
在中文到泰文的语料中的中文原文中添加标识信息,以指定译文语种为泰文,将所述中文原文输入至所述第一联合模型;
获取所述第一联合模型中的第一翻译模型输出预测的泰文译文,计算所述预测的泰文译文与所述中文原文的真实泰文译文之间的损失值,作为第一损失值;
获取所述第一联合模型中的第二翻译模型输出预测的中文译文,计算所述预测的中文译文与所述中文原文之间的损失值,作为第二损失值;
根据所述第一损失值和第二损失值,分别更新所述第一翻译模型和第二翻译模型中的参数,直至所述第一损失值和第二损失值均小于预设阈值或者训练次数达到预设次数。
4.根据权利要求1或2所述的基于零次学习的中泰双语语料生成方法,其特征在于,所述根据泰文到中文的语料训练所述第二翻译模型,具体为:
在泰文到中文的语料中的泰文原文中添加标识信息,以指定译文语种为中文,将所述泰文原文输入至所述第二联合模型;
获取所述第二联合模型中的第二翻译模型输出预测的泰文译文,计算所述预测的中文译文与所述泰文原文的真实中文译文之间的损失值,作为第三损失值;
获取所述第二联合模型中的第一翻译模型输出预测的泰文译文,计算所述预测的泰文译文与所述泰文原文之间的损失值,作为第四损失值;
根据所述第三损失值和第四损失值,分别更新所述第二翻译模型和第一翻译模型中的参数,直至所述第三损失值和第四损失值均小于预设阈值或者训练次数达到预设次数。
5.根据权利要求2所述的基于零次学习的中泰双语语料生成方法,其特征在于,所述第一翻译模型包括第一编码器和第一解码器;
相应地,所述根据语料的原文对所述第一翻译模型进行训练,输出预测的译文,具体为:
对所述原文进行分词,根据预设的词向量模型获得所述原文的词向量序列;
将所述原文的词向量序列输入至所述第一编码器,输出原文的编码向量序列;
将所述原文的编码向量序列输入至所述第一解码器,输出预测的译文。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于语联网(武汉)信息技术有限公司,未经语联网(武汉)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911338831.9/1.html,转载请声明来源钻瓜专利网。