[发明专利]一种基于辅助表示融合的非自回归神经机器翻译方法有效
申请号: | 202110592517.4 | 申请日: | 2021-05-28 |
公开(公告)号: | CN113378584B | 公开(公告)日: | 2023-09-05 |
发明(设计)人: | 杜权;刘兴宇 | 申请(专利权)人: | 沈阳雅译网络技术有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06N3/0464;G06N3/084 |
代理公司: | 沈阳新科知识产权代理事务所(特殊普通合伙) 21117 | 代理人: | 李晓光 |
地址: | 110004 辽宁省沈阳市*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 辅助 表示 融合 回归 神经 机器翻译 方法 | ||
本发明公开一种基于辅助表示融合的非自回归神经机器翻译方法,步骤为:构造自回归神经机器翻译模型;构建训练平行语料,训练一个只有一层解码器的模型;构造非自回归神经机器翻译模型;将自回归神经机器翻译模型解码器最顶层的前馈神经网络后的输出与非自回归神经机器翻译模型编码器的顶层表示进行加权融合,作为非自回归神经机器翻译模型解码器的输入;编码器提取源语句子信息,解码器根据该源语句子信息来预测对应的目标语句子;完成非自回归神经机器翻译模型的训练;将源语句子送入非自回归神经机器翻译模型中,解码出不同长度的翻译结果。本发明结合自回归模型和非自回归模型的优点,在损失了较小性能的情况下,能够获得7~9倍的速度提升。
技术领域
本发明涉及一种神经机器翻译推断加速方法,具体为基于辅助表示融合的非自回归神经机器翻译方法。
背景技术
机器翻译是将一种自然语言翻译为另一种自然语言的技术。机器翻译是自然语言处理的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。同时,随着互联网技术的飞速发展,机器翻译技术在人们日常的生活工作中起到了越来越重要的作用。
机器翻译技术从上世纪70年代基于规则的方法,到80年代基于实例的方法,90年代基于统计的方法,到如今基于神经网络的方法,历经多年的发展,终于达到了良好的效果,在人们的日常生活中得到了更广泛的使用。
目前最被广为应用的神经机器翻译系统通常采用基于神经网络的端到端的编码器-解码器框架,其中性能最强大的则是基于自注意力机制的Transformer模型结构,在多个语种的上取得了最佳的翻译性能。Transformer由基于自注意力机制的编码器和解码器组成。标准的Transformer编码器由六层堆叠的编码层组成,解码器同样包括六层解码层。整个模型中抛弃了传统的RNN和CNN,完全由注意力机制组成。更准确的说Transformer由且仅由注意力机制和前馈神经网络组成。相比于RNN由于Transformer抛弃了只能顺序计算的限制,提高了系统的并行能力。同时由于并行计算的处理方式,也缓解了顺序计算中的长期依赖难以处理的现象。Transformer的编码层包括自注意力层和前馈神经网络组成。自注意力编码端输出的用稠密向量表示的句子进行特征提取后送入前馈神经网络。解码器相对于解码器来说在自注意力层和前馈神经网络层之间增加了一个编码-解码注意力层,来对源语和目标语之间的映射关系进行建模。
基于神经网络的机器翻译系统在性能上相较之前备受瞩目的基于统计的翻译系统而言,在性能上已经得到了十足的进步。但由于神经网络涉及大量的矩阵运算,因此在训练以及解码上相对之前的方法会更加耗时。对于这两方面的耗时,在实际中往往对于解码的时间消耗更为看重。为使得神经机器翻译系统能够在实际中被应用起来,必须要求系统在解码的过程中具有较高的响应速度,否则面对难以接受的延迟,即使翻译系统具有更为优秀的性能,在很多场景下用户也很难接受。
目前大多数机器翻译模型都使用了编码器-解码器框架来实现,编码器将源语句的表示送入到解码器来生成目标句子;解码器通常以自回归的方式来工作,从左到右逐字地生成目标句子,第t个目标词的生成依赖于先前生成的t-1个目标词。这种自回归的解码方式符合阅读和生成句子时的习惯,能有效地捕捉到真实翻译的分布情况。但是解码器的每个步骤必须顺序地而不是并行地运行,因此自回归解码会阻止像Transformer这样的体系结构在推理过程中充分体现其训练时的性能优势。
为了减轻推理延迟,非自回归翻译模型被提出,该模型以从左到右的方式使用复制的源输入初始化解码器输入,并独立地同时生成所有目标词。但是,NAT模型在实现加速的同时,其解码器必须在薄弱的目标端信息的条件下来处理翻译任务,从而降低了翻译的准确性。
发明内容
针对非自回归机器翻译模型中由于薄弱的目标端信息造成翻译质量下降的问题,本发明提供了一种基于辅助表示融合的非自回归神经机器翻译方法,能够使得非自回归机器翻译取得与自回归机器翻译相当的性能且具有较高的响应速度以及更好实际应用。
为解决上述技术问题,本发明采用的技术方案是:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于沈阳雅译网络技术有限公司,未经沈阳雅译网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110592517.4/2.html,转载请声明来源钻瓜专利网。