[发明专利]基于Transformer模型的数据增强维汉机器翻译系统训练方法和装置

说明书

本发明公开了基于Transformer模型的数据增强维汉机器翻译系统训练方法和装置，Transformer模型由编码器和解码器两个部分组成，其中，模型的左半边部分是编码器端，由6个相同的层叠加组成，每一层由两个子层组成。右半部分是解码器端，同解码器由6个相同的层叠加组成，每一层由三个子层组成。大大改善了神经机器翻译模型在资源匮乏情况下翻译性能不好的问题，提高模型泛化能力。实验结果表明，用17万对维汉平行语料来伪造数据并进行训练翻译模型，最后所取得的翻译质量得到了一定的提升。

技术领域

本发明涉及及其翻译技术领域，具体为基于Transformer模型的数据增强维汉机器翻译系统训练方法和装置。

背景技术

机器翻译是通过机器将一种自然语言转换另一种自然语言的过程。机器翻译的概念提出以来大致经历了四个阶段：基于规则的机器翻译、基于实例的机器翻译、基于统计的机器翻译和神经机器翻译。传统的机器翻译方法因需要人工设定的翻译规则、广覆盖面得平行语料，遇到了成本高，开发周期长的困难。神经机器翻译概念提出以后收到了众大研究者们的关注，且神经机器翻译的翻译性能超过了传统的机器翻译方法。

神经机器翻译方法的思想不同与统计机器翻译，统计机器翻译方法的主要思想是通过对大量的平行语料进行统计，构建统计翻译模型，反而神经机器翻译方法是先将文本转换成数字其次对数字进行运算构建神经机器翻译模型。文本转换成数字的方法有离散表示和分布式表示,one-hot表示单词的词向量时将词表大小设为向量长度，向量中除了一个维度的值为1，其余维度值为0，但语义层上不能有效的表示单词意义。2013年Google发布了Word2vec词向量训练工具，Word2vec通过给定的文本数据快速有效地训练词向量模型。该模型能够表示出单词在语义层上的向量，可以方便的计算出两个单词的相似度。Word2vec是自然语言处理领域中的里程牌，它促进了自然语言处理任务中的各个任务。

神经机器翻译系统主要由编码器和解码器两部分构成，编码器对源语言任意长度的句子进行编码，解码器将编码器输出的特定长度向量作为输入并解码目标语言句子。该结构通过端到端的方式建模，用目标函数训练模型的所有参数。图1展示编码器-解码器模型的结构。

由编码器和解码器的不同神经机器翻译系统有循环神经网络(RNN)、长短期记忆(LSTM)、门控递归神经网络(GRU)和Transformer等几种形式。选RNN作为编码器的时候，一般会选用双向RNN结构，其中正向RNN输入序列的从左侧开始编码，反向RNN则输入序列的从右侧开始编码，最终两个编码结果联合起来作为输入序列的最终分布式表示。RNN的主要思想是模型的当前预测不仅与当前时刻的输入有关，而且还与此输入之前的输入有关。当RNN的输入序列过长时，神经元很难接收到远距离的单词信息，从而导致网络中出现梯度消失现象。为了解决以上问题通常采用设置网络最大能接受的最大长度策略，虽然该方法能有效解决梯度消失现象，但不能有效处理长期依赖问题变为RNN的弊端。

现有的机器翻译依赖于大规模高质量的平行语料，需要几百万甚至上千万规模的平行语料进行训练才能取得一定的效果。而对于维吾尔语这种的资源的语言来说，是无法获得这么大规模的平行语料的。而且即使有大规模平行语料，基于统计的机器翻译和基于LSTM的机器翻译对长句子的翻译质量也不高，

发明内容

本发明的目的在于提供基于Transformer模型的数据增强维汉机器翻译系统训练方法和装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于Transformer模型的数据增强维汉机器翻译系统训练装置,Transformer模型由编码器和解码器两个部分组成，模型的左半边部分是编码器端，由6个相同的层叠加组成，每一层由两个子层组成。右半部分是解码器端，同解码器由6个相同的层叠加组成，每一层由三个子层组成。