[发明专利]基于机器翻译模型的翻译方法、装置、设备和存储介质有效
申请号: | 201910533371.9 | 申请日: | 2019-06-19 |
公开(公告)号: | CN110457713B | 公开(公告)日: | 2023-07-28 |
发明(设计)人: | 邵晨泽;张金超;孟凡东;冯洋;周杰 | 申请(专利权)人: | 腾讯科技(深圳)有限公司;中国科学院计算技术研究所 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06N3/0455;G06N3/048;G06N3/047;G06N3/08 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 张所明 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 机器翻译 模型 翻译 方法 装置 设备 存储 介质 | ||
本申请提供了一种基于机器翻译模型的翻译方法、装置、设备和存储介质。所述方法包括:将源端句子的第i个源端词嵌入编码为中间向量;结合第i个源端词嵌入,对中间向量进行解码,得到解码后的中间向量;将解码后的中间向量与目标端句子的第i‑1个目标端词嵌入融合,得到融合后的中间向量;对融合后的中间向量进行解码,得到解码后的词向量;根据解码后的词向量对第i个目标端词语进行概率预测,输出预测结果;该方法通过在解码过程中增加前一个目标端词嵌入作为输入数据,捕捉单词之间的依赖关系,从而提高目标端句子生成的准确性,减少过翻译、漏翻译等等错误的出现,使生成的目标端句子更通顺。
技术领域
本申请实施例涉及人工智能技术领域,特别涉及一种基于机器翻译模型的翻译方法、装置、设备和存储介质。
背景技术
机器翻译是利用计算机将一种自然语言转变为另一种自然语言的过程,被广泛的应用到生活中的各个方面;比如,翻译机、语音同传以及跨语言检索等等,能够实现不同语种之间的无障碍交流。
通常,机器翻译技术采用编码器-解码器的模型结构;以非自回归机器翻译模型为例,非自回归机器翻译模型中编码器包括n个编码层,每一层包括一个自注意力模块(Self-Attention Module)和一个前馈神经网络模块(Feedforward Neural Network Module);解码器包括m个解码层,每一层包括一个自注意力模块、一个源端注意力模块(SourceAttention Module)、一个位置注意力模块(Positional Attention Module)和一个前馈神经网络模块。对源端句子的翻译过程中,非自回归机器翻译模型将源端句子作为编码器的输入,对源端句子编码输出一个中间表示;该中间表示作为解码器的输入,将中间表示解码为目标端句子,其中,源端句子是第一语言类句子,目标端句子是第二语言类句子。比如,第一语言可以是汉语,第二语言可以是英语,那么,上述翻译过程为将中文句子翻译为英文句子的过程。
上述非自回归机器翻译模型通过位置注意力模块,对句子中每个位置的词语的概率分布进行独立建模,实现并行计算,增加了解码速度,也就是说,增加了句子的翻译速度;但是,上述非自回归机器翻译模型中翻译词语的生成和评价均为独立的,难以捕捉序列依赖关系,最终导致翻译结果包含很多的错误。
发明内容
本申请实施例提供了一种基于机器翻译模型的翻译方法、装置、设备和存储介质,可用于解决非自回归机器翻译模型中翻译词语的生成和评价均为独立的,难以捕捉序列依赖关系,最终导致翻译结果包含很多的错误的问题。所述技术方案如下:
一方面,本申请实施例提供了一种基于机器翻译模型的翻译方法,该方法包括:
将源端句子的第i个源端词嵌入编码为中间向量;
结合第i个源端词嵌入,对中间向量进行解码,得到解码后的中间向量;
将解码后的中间向量与目标端句子的第i-1个目标端词嵌入融合,得到融合后的中间向量;
对融合后的中间向量进行解码,得到解码后的词向量;
根据解码后的词向量对第i个目标端词语进行概率预测,输出预测结果,i为正整数。
另一方面,本申请实施例提供了一种基于机器翻译模型的翻译装置,该装置包括机器翻译模型,机器翻译模型包括编码器和解码器;
编码器,用于将源端句子的第i个源端词嵌入编码为中间向量;
解码器,用于结合第i个源端词嵌入,对中间向量进行解码,得到解码后的中间向量;将解码后的中间向量与目标端句子的第i-1个目标端词嵌入融合,得到融合后的中间向量;对融合后的中间向量进行解码,得到解码后的词向量;根据解码后的词向量对第i个目标端词语进行概率预测,输出预测结果,i为正整数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司;中国科学院计算技术研究所,未经腾讯科技(深圳)有限公司;中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910533371.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种英语翻译系统
- 下一篇:一种基于时序主题模型的自然语言生成方法