[发明专利]基于依存信息监督的神经网络机器翻译方法及装置

说明书

本发明公开了一种基于依存信息监督的神经网络机器翻译方法及装置，所述方法包括：获取待翻译的源语句并拆分为语言单位，将每一语言单位转换为输入向量后由编码器编码为隐状态向量；对源语句进行依存分析，并根据分析所得的依存信息以及所述隐状态向量生成每一语言单位的依存信息块；利用基于依存信息块监督的注意力机制计算得到当前时刻的回顾信息；根据当前时刻的回顾信息，结合上一时刻的翻译结果以及当前时刻的解码器端隐状态向量生成当前时刻的翻译结果。本发明通过分析语句的依存信息为注意力机制提供了监督，这样不仅减少了翻译模型的计算量，而且使得翻译模型具有捕获远距离语义信息的能力，从而有效优化了翻译模型的翻译效果。

技术领域

本发明涉及机器翻译技术领域，尤其是涉及一种基于依存信息监督的神经网络机器翻译方法及装置。

背景技术

机器翻译是人工智能和自然语言处理研究领域的重要组成部分，机器翻译研究的目标是如何利用计算机强大的计算功能自动地实现不同语言之间的相互转换。在日常生活中，机器翻译也是目前互联网使用频率比较高的服务之一。虽然机器翻译的译文质量与专业翻译员所译相比差距仍然较大，但在迎合翻译需求方面与翻译速度上，机器翻译具有不可替代性，学术界与产业界都把该领域作为重点研究方向。

早期的机器翻译有基于规则的机器翻译、基于实例的机器翻译、以及统计机器翻译。从20世纪90年代以来，随着计算能力的提高和规模化的语料库的出现，统计机器翻译有了长足的进步，成为了这个时期机器翻译的主流方法。

1957年，Rosenblatt提出了感知机，即，最初的神经网络。经过一段时间的发展，特别是在Hinton、LeCun、Bengio等人的推动下，神经网络方法逐渐发展起来。2006年，Hinton等人通过逐层训练方法解决了神经网络训练难题，同时随着并行计算、图形处理器的广泛应用，神经网络在图像识别、语音识别等领域取得了巨大的成功，与此同时，此项技术也应用在了机器翻译上，即神经网络机器翻译。

目前，主流的神经网络机器翻译的实现是以循环神经网络为基础，采用了结合注意力机制的序列到序列模型。其中，注意力机制是对经典的序列到序列神经机器翻译模型的重大改进。基于注意力机制的神经机器翻译模型将源语言句子编码为对应当前翻译时刻的向量序列，而不是在任何翻译时刻都不变的固定向量，在生成目标语言时，注意力机制使得翻译模型能够利用与当前翻译时刻相关的源语言信息。

注意力机制是主流神经网络机器翻译模型中的重要组成部分。但注意力机制是一种无监督的模型，不同时刻的注意力机制之间没有明显的约束条件，且在应用中，由于需要回顾全部的源语言信息而使得计算任务繁重。针对注意力机制存在计算量较大的问题，有人提出了局部注意力机制，在当前翻译时刻回顾部分源语言信息而不是回顾全部的源语言信息，这种方法相对于全局注意力机制减轻了计算压力，并提升了神经机器翻译模型在长句子翻译任务上的表现。

为了改进注意力机制而提出的局部注意力机制，为了缓解计算压力在计算当前翻译时选择只关注设置窗口大小的源语言信息。但是，这样做是有风险的，虽然上下文信息对当前翻译词是重要的，但是很可能丢失了与当前翻译词有关的、但却处于远距离的源语言信息。局部注意力机制的提出，虽然在一定程度上减轻了计算压力，但却可能会丢失远距离有用的词汇信息，因此，现有的神经网络机器翻译模型的翻译效果较差。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于依存信息监督的神经网络机器翻译方法及装置，使得翻译模型在减轻计算压力的同时能够捕获远距离语义信息，从而优化翻译模型的翻译效果。

为了解决上述技术问题，本发明提供了一种基于依存信息监督的神经网络机器翻译方法，包括：

获取待翻译的源语句并拆分为语言单位，将每一语言单位转换为输入向量后由编码器编码为隐状态向量；

对所述源语句进行依存分析，并根据分析所得的依存信息以及所述隐状态向量生成每一语言单位的依存信息块；