[发明专利]一种基于小型智能移动设备的机器翻译解码加速方法

说明书

本发明公开一种基于小型智能移动设备的机器翻译解码加速方法，步骤为：1)构建训练平行语料及基于注意力机制的神经机器翻译模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的基线模型；2)将神经机器翻译模型中解码端的三个子层合为一个，增强模型的并行能力，到达解码加速的目的；3)解码改进后的神经机器翻译模型，计算解码加速倍数；4)将改进后的神经机器翻译模型运行于小型智能移动设备中。本发明应用于小型智能移动设备中，通过改进基于自注意力机制的机器翻译模型结构，将机器翻译解码端的多个子层进行融合，从而提高模型的并行能力，能够加速机器翻译的解码过程。

技术领域

本发明涉及一种神经机器翻译模型解码加速技术，具体为基于小型智能移动设备的机器翻译解码加速方法。

背景技术

小型智能移动设备成为人们不可缺少的知识获取来源，由于人们对各种类型应用的需求，各类APP软件频繁被小型智能移动设备用户下载并存储，导致小型智能移动设备出现卡顿的问题。单纯增大小型智能移动设备容量会导致硬件成本过高，增加用户经济负担，因此从另一个角度考虑，应尽量减少小型智能移动设备上APP软件的空间占用量。

机器翻译在现阶段有着广泛的应用需求，智能翻译软件也被广泛应用于移动设备中。端到端的神经机器翻译通过神经网络模型直接实现从源语言到目标语言的翻译，所采用的主要框架是编码器-解码器(Encoder-Decoder)框架。编码器-解码器框架将翻译任务看作序列到序列的转换，即将翻译过程看作从源语言序列转换成目标语言序列的过程。该过程主要包括两个步骤：(1)源语言端，编码器将源语言序列编码成源语言上下文向量；(2)目标语言端，解码器根据编码器提供的源语言上下文向量生成目标语言序列。

谷歌在2017年提出了完全基于注意力机制的模型结构，这种网络结构完全由注意力机制组成，更准确地讲，它仅由注意力机制和前馈神经网络组成。基于注意力机制的模型仍是基于编码器-解码器框架，通过堆叠多个相同的栈，分别组成了编码器和解码器，编码器和解码器的子层结构略有不同，在机器翻译任务的多个数据集上翻译性能得到显著提高，并达到了当时的最好性能，而且具备更快的训练速度。在生成一个目标语单词时，基于注意力机制的神经网络会基于得到的不同的注意力对不同源语位置向量进行加权求和，得到不同的上下文向量。注意力机制的引入使得不同源语言位置对目标语单词生成的贡献度不同，神经网络中信息流的传递变得更为高效，有助于神经网络模型的学习。

虽然当前这种模型已经取得了不错的性能，但仍存在着一个问题：当前的神经网络模型规模过于庞大，虽然模型性能不断增强，但在存储和计算资源受限的小型智能移动设备(如：手机、平板电脑等移动设备)部署此类模型却面临着巨大的挑战。由于此类设备的资源受限又要求实时的响应速度，因此需要提升翻译模型在小设备上的解码速度，满足用户的翻译需求。

发明内容

针对现有技术中机器翻译的计算过于复杂而不能部署在存储资源和计算资源受限的小设备上的问题，本发明要解决的技术问题是提供一种基于小型智能移动设备的机器翻译解码加速方法，将机器翻译模型中解码端的三个子层合为一个，增强模型的并行能力，到达解码加速的目的。本发明能够在多个机器翻译任务数据集上显著加速模型解码速度，并保证模型的性能没有明显下降。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种基于小型智能移动设备的机器翻译解码加速方法，包括以下步骤：

1)构建训练平行语料及基于注意力机制的神经机器翻译模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的基线模型；

2)将神经机器翻译模型中解码端的三个子层合为一个，增强模型的并行能力，到达解码加速的目的；

3)解码改进后的神经机器翻译模型，计算解码加速倍数；

4)将改进后的神经机器翻译模型运行于小型智能移动设备中。