[发明专利]一种引入源语组块信息编码的神经机器翻译方法

说明书

本发明涉及一种引入源语组块信息编码的神经机器翻译方法，输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，对输入的源语句按块进行切分；根据源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；将时序编码信息与块编码信息联合起来，获得最终的源语句记忆信息；解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。本发明自动对源语句进行块切分，不需要任何事先分块好的句子参与训练；能够捕捉到对源语句最新和最佳的分块方式。

技术领域

本发明涉及机器翻译领域，具体为一种引入源语组块信息编码的神经机器翻译方法。

背景技术

神经机器翻译技术通常采用基于神经网络的编码器-解码器框架来对整个翻译过程进行端到端的建模，采用这种方法在许多不同语种的互译中已经实现了最佳翻译性能。其中，编码器网络负责把输入的源语句编码成带有记忆信息的固定维度的向量，而解码器将通过编码器得到的编码向量生成对应的翻译结果。对于编码器，通常把输入的源语句看作是分词后按顺序出现的单词序列。当编码器读入源语句时，就可以针对源语句构建相应的记忆信息，在编码过程中，源语句单词序列中的每个单词都会生成对应的记忆单元。一个编码器编码的示例如下：

源语句：她有许多漂亮的衣服

单词序列：她有许多漂亮的衣服

记忆单元：h1 h2 h3 h4 h5

其中，输入编码器的源语句是“她有许多漂亮的衣服”，源语句分词所对应的单词序列是{“她”、“有”、“许多”、“漂亮的”、“衣服”}，经过编码器编码后上述单词序列中的每个单词对应的记忆单元分别是h1、h2、h3、h4、h5，则源语句的记忆信息为H＝{h1,...,h5}。

在传统神经机器翻译系统的编码过程中，通常按时序对源语句的每个单词进行编码，而最终得到的源语句的记忆信息缺少了结构化的依赖表示(树、块)。上述示例中“漂亮的”和“衣服”之间存在着明显的依赖关系，单纯的按时序对源语句中的每个单词进行编码并不能完整的表达源语句所包含的信息。而采用一些已有的外部工具，通过句法分析等方法可以获得这部分信息。但由于这些外部工具本身并不完善，这样做又有可能引进新的错误，而这些错误将会影响后续工作。

另外，目前采用一些外部工具，通过句法分析等方法来获得源语句的分块信息。但由于这些外部工具本身并不完善，在获得分块信息时有可能引入新的错误，而这些错误会在后续工作中继续蔓延，产生错误累积。

发明内容

针对现有技术中神经机器翻译技术中对源语句按单词顺序进行编码的方式未能考虑源语句的结构化信息表示(树、块)，导致所产生的错误向后续工作进行传播，从而对翻译性能产生影响等不足，本发明要解决的技术问题是提供一种能够自动对源语句进行块切分的引入源语组块信息编码的神经机器翻译方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种引入源语组块信息编码的神经机器翻译方法，包括以下步骤：

1)输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；

2)用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，即每个时序下的编码信息；

3)在进行编码的过程中，对输入的源语句按块进行切分；

4)根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；

5)将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，获得最终的源语句记忆信息；