[发明专利]基于Multi-BiRNN编码的神经机器翻译方法

说明书

本发明涉及一种基于Multi‑BiRNN编码的神经机器翻译方法，在编码器端采用Multi‑BiRNN编码，即在源语言句子作为输入序列的基础上，再增加一组或多组BiRNN对与之相关的其他输入序列进行编码；基于Multi‑BiRNN编码的神经机器翻译，在源端编码过程中同时考虑源语言句子序列及其依存句法树，通过两种不同的遍历方式分别得到句法树的序列化结果，与源语言句子序列一起作为Multi‑BiRNN编码的输入；在各组BiRNN的输出端，采用向量拼接的方式形成每个词。本发明编码得到的向量包含更加丰富的语义信息，同时考虑源语言句子序列和其他与之相关序列，在源语言句子的语义的表示过程中起到消歧作用。

技术领域

本发明涉及一种自然语言翻译技术，具体为基于Multi-BiRNN编码的神经机器翻译方法。

背景技术

端到端神经机器翻译作为一种全新的机器翻译方法，近年来得到了迅速发展。然而，端到端神经机器翻译仅仅使用一个非线性的神经网络实现自然语言之间的转换，导致难以显式地利用语言学知识。如何对当前的神经机器翻译的框架作出改进，从而将句法信息等语言学知识编码并应用到端到端的神经网络中，是一个值得探究的方向。

通常，端到端神经机器翻译基于一个“编码-解码”框架来学习源语言到目标语言的转换规律，用连接编码器和解码器的向量描述语义等价性。在编码器端，通常采用双向编码将源语言句子映射为一个连续、稠密的向量。在解码器端，使用该向量初始化隐状态，并递归地使用隐状态和已生成的目标词共同作用于当前生成词的概率分布。然而，不管句子长短都将其映射为一个固定维度的向量，这对实现准确编码提出了挑战。注意力机制的引入，在一定程度上缓解了编码器生成定长向量的问题。Bengio研究组主张为每个目标语言词动态生成源语言端的上下文向量，不再采用表示源语言句子的固定维度的向量。为此，编码器依据基于内容的注意力计算方法将源语言句子编码为向量序列。

由神经机器翻译基本原理可以看出，句子中的信息与特征完全由向量表示，并在编码器和解码器之间传递源语言句子的语义信息。无论是传统的基于“编码-解码”框架的神经机器翻译，还是引入注意力机制的神经机器翻译，都依赖于编码过程，即将句子映射为可表示、传递和计算语义的向量。能否实现对源语言句子的准确编码，并将更多的语言学知识编码到向量中，对提高神经机器翻译性能起到举足轻重的作用。

发明内容

针对现有技术中端到端神经机器翻译主要基于一种序列到序列的模型，没有直接显式地利用句法信息来指导和约束译文的生成等不足，本发明要解决的问题是提供一种基于Multi-BiRNN编码的神经机器翻译方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于Multi-BiRNN编码的神经机器翻译方法，包括以下步骤：

1)在编码器端采用Multi-BiRNN编码的方法，即在源语言句子作为输入序列的基础上，再增加一组或多组BiRNN对与之相关的其他输入序列进行编码；

2)基于Multi-BiRNN编码的神经机器翻译，在源端编码过程中同时考虑源语言句子序列及其依存句法树，通过两种不同的遍历方式分别得到句法树的序列化结果，与源语言句子序列一起作为Multi-BiRNN编码的输入；

3)在各组BiRNN的输出端，采用向量拼接的方式形成每个词，使每个词更加完整和全面。

步骤1)中，增加一组或多组BiRNN对与之相关的其他输入序列进行编码，具体为：

BiRNN₁用以编码源语言句子，分别生成前向隐状态序列和后向隐状态序列

BiRNN₂用以编码词性序列，分别生成前向隐状态序列和后向隐状态序列

得到上述4个隐状态序列后，分别对每一位置的隐状态依次进行拼接，最终实现将源语言句子映射为向量序列