[发明专利]机器翻译方法及装置

说明书

本发明实施例提供一种机器翻译方法及装置，其中方法包括：将源语句前文的词向量输入至预先训练的上下文编码器，输出所述源语句前文的编码标识；将源语句的词向量以及所述源语句前文的编码标识输入至预先训练的源语言编码器，获得所述源语句的编码标识；将目标语句中已翻译的词向量、源语句前文的编码标识和源语句的编码标识输入至预先训练的解码器，获得目标语句中新翻译的词向量；根据所述目标语句中新翻译的词向量获得对应的翻译结果。本发明实施例能够解决机器翻译对上下文的依赖，显著提高翻译质量。

技术领域

本发明涉及机器学习技术领域，更具体地，涉及机器翻译方法及装置。

背景技术

随着神经网络机器翻译技术的飞速发展，机器翻译的质量得到了飞跃式的提升，机器翻译的多种衍生产品也开始逐渐走入人们的生活之中。

较常用的翻译模型是大有注意力机制(attention-based)的encoder-decoder模型。主要思想是将待翻译的语句既源语句经过编码器encoder编码，使用一个向量标识，然后利用解码器decoder对源语句的向量表示进行解码，翻译成为对应的译文，即目标语句。这种encoder-decoder框架是深度学习的核心思想。同样地，encoder-decoder框架也是NMT(neural machine translation，神经机器翻译)系统常用的基本架构。目前主流的NMT系统，encoder和decoder都利用FNN(Feed-forward neural network，前向神经网络)技术。

基于自注意力机制的神经网络机器翻译是当前效果最好的机器翻译模型。图1为现有技术提供的机器翻译方法的流程示意图，如图1所示，现有技术在对源语句进行翻译时，采用的是将源语言词向量输入至源语言编码器，通过自注意力层和前向神经网络层获得源语句的编码标识，将目标语句中已翻译的词向量输入至解码器中，已翻译的词向量输入自注意力层后，输出第一结果，将第一结果与源语句的编码标识一并输入至编码器-解码器注意力层中，输出第二结果，再将第二结果输入至解码器中的前向神经网络层，根据输出的第三结构进行分类预测，即可翻译出目标语言的词汇。由上述内容可知，现有技术只会考虑当前待翻译的源语句，并没有考虑句子的上下文，这导致了机器翻译无法处理一些和上下文依赖有关的问题，例如词语歧义性、指代消解、词汇衔接等问题。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的机器翻译方法及装置。

第一个方面，本发明实施例提供一种机器翻译方法，包括：

将源语句前文的词向量输入至预先训练的上下文编码器，输出所述源语句前文的编码标识；

将源语句的词向量以及所述源语句前文的编码标识输入至预先训练的源语言编码器，获得所述源语句的编码标识；

将目标语句中已翻译的词向量、源语句前文的编码标识和源语句的编码标识输入至预先训练的解码器，获得目标语句中新翻译的词向量；

根据所述目标语句中新翻译的词向量获得对应的翻译结果；

其中，所述上下文编码器根据样本源语句前文的词向量以及样本源语句前文的编码标识训练而成；所述源语言编码器根据样本源语句的词向量、样本源语句前文的编码标识以及样本源语句的编码标识训练二次；所述目标语言编码器根据样本目标语句中的词向量、样本源语句前文的编码标识以及样本源语句的编码标识训练而成。

第二个方面，本发明实施例提供一种机器翻译装置，包括：

前文标识模块，用于将源语句前文的词向量输入至预先训练的上下文编码器，输出所述源语句前文的编码标识；

源语句标识模块，用于将源语句的词向量以及所述源语句前文的编码标识输入至预先训练的源语言编码器，获得所述源语句的编码标识；