[发明专利]基于文档上下文的机器翻译方法及装置

说明书

本发明实施例提供一种基于文档上下文的机器翻译方法及装置，方法包括：基于句子级Encoder获取当前句子的源端上下文表征、目标端上下文草稿表征和当前句子的草稿译文表征；基于文档级Encoder获取当前句子的源端句子表征，在源端句子表征中融合源端上下文表征，获取融合后的所述源端句子表征；基于文档级Decoder获取所述当前句子的目标端句子表征，在目标端句子表征中融合当前句子的草稿译文表征和目标端上下文草稿表征，根据融合后的目标端句子表征和融合后的源端句子表征，获取当前句子的最终翻译结果。本发明实施例引入文档级信息进行上下文知识推理，以此对句子级别的草稿译文进行修正，改善了翻译质量，得到更好的译文。

技术领域

本发明属于机器翻译技术领域，尤其涉及一种基于文档上下文的机器翻译方法及装置。

背景技术

机器翻译是自然语言处理领域的一个重要研究方向，实现两种自然语言之间的互相翻译。早期的翻译系统主要是基于规则的方法，由语言学家人工编写规则。基于词对齐的翻译模型标志统计机器翻译(Statistical Machine Translation，SMT)的出现。

近年来神经机器翻译已经取得了极大的进步，其中大都基于端到端的神经网络框架，输入一句源语言句子，预测出对应的目标语言句子。例如RNNSearch模型应用带有注意力机制的Encoder-Decoder框架，使得在预测每个目标端词的时候，模型可以通过注意力机制去查找源端句子中与其最相关的信息来提高翻译效果。Transformer模型使用自注意网络进行编码和解码，其中的Encoder和Decoder均由多层构成，每一层包括一个多头自注意和一个前馈子层。Decoder中在自注意层和前馈子层之间附加一个多头Encoder-Decoder注意力模块。Transformer在许多语言对上实现了最先进的翻译性能。

现有的机器翻译工作分为两类，一类为基于源语言的上下文翻译模型，另一类为基于源语言和目标语言的上下文翻译模型。其中，基于源语言的上下文翻译模型在引入上下文信息时，选择引入源端的上下文作为信息源，以此来提高模型能力。基于源语言和目标语言的上下文翻译模型在引入上下文信息时，选择引入上下文的源语言端和目标语言端，相较于只引入源语言，引入目标语言是有利有弊的。首先好处是，引入目标语言可以丰富信息源，提供更好的翻译基础，为漏译补全等提供更好的帮助；坏处就是引入目标语言时，在模型训练的时候可以使用groundtruth作为输入，但是当测试时使用模型生成的语句当作上文，那么当模型生成的语句有误时，就会导致错误传播。

上述现有的机器翻译方法虽然对于普通句子级别的翻译效果已经很好，但是对于一些细节的名词代词等，容易出现歧义，指代不明等现象。

发明内容

为克服上述现有的机器翻译方法对于细节的翻译不准确的问题或者至少部分地解决上述问题，本发明实施例提供一种基于文档上下文的机器翻译方法及装置。

根据本发明实施例的第一方面，提供一种基于文档上下文的机器翻译方法，包括：

将当前句子的源端上下文、目标端上下文草稿和所述当前句子的草稿译文分别输入文档级翻译模型中的句子级Encoder，输出所述当前句子的源端上下文表征、目标端上下文草稿表征和所述当前句子的草稿译文表征；

将所述当前句子的源端句子和源端上下文表征输入所述文档级翻译模型中的文档级Encoder，获取所述当前句子的源端句子表征，通过多头注意力机制在所述源端句子表征中融合所述源端上下文表征，输出融合后的所述源端句子表征；

将所述当前句子的目标端句子、草稿译文表征、目标端上下文草稿表征和融合后的所述源端句子表征输入所述文档级翻译模型中的文档级Decoder，获取所述当前句子的目标端句子表征，通过所述多头注意力机制在所述目标端句子表征中融合所述当前句子的草稿译文表征和目标端上下文草稿表征，根据融合后的所述目标端句子表征和融合后的所述源端句子表征，获取所述当前句子的最终翻译结果；