[发明专利]基于环顾解码和词汇注意力的非自回归蒙汉机器翻译方法

权利要求书

1.一种基于环顾解码和词汇注意力的非自回归蒙汉机器翻译方法，其特征在于，基于编码器-目标长度预测器-解码器的翻译模型，采用改进的非自回归方法提升蒙汉神经机器翻译的速度和并行性，并在训练过程中使用对齐交叉熵作为损失函数，其中所述改进的非自回归方法为：在解码时，首先使用位置嵌入，然后通过环顾解码和动态双向解码进行解码，并且在解码器的每一层均使用词汇注意力，通过上述进行改进的非自回归方法提升了蒙汉神经机器翻译的速度和并行性。

2.根据权利要求1所述基于环顾解码和词汇注意力的非自回归蒙汉机器翻译方法，其特征在于，在翻译之前，使用字节编码技术(BPE)进行预处理以提高神经网络的准确率，所述字节编码技术是切分蒙语语料，即，对不同粒度的蒙语语料进行切割分离，以改善蒙语语料的稀疏性问题，同时找出预处理后的蒙语语料的语言特征，在训练的时融入预处理后的蒙语语料的语言特征。由于蒙语的平行语料库小，字节编码技术可以有效缓解未登录词问题。

3.根据权利要求1所述基于环顾解码和词汇注意力的非自回归蒙汉机器翻译方法，其特征在于，所述解码器共六层，分别为：Masked Self-Attention、Multi-head Attention、Feed forward和三层AddNorm。

4.根据权利要求1所述基于环顾解码和词汇注意力的非自回归蒙汉机器翻译方法，其特征在于，所述编码器遵循Transformer架构，给定源语言x＝{x₁,x₂,…,x_i,…,x_n}，得到目标语言y＝{y₁,y₂,…,y_i,…y_m}，n和m分别为源语言的长度和目标语言的长度，x_i是第i个位置的源语言词条，y_i是第i个位置的目标语言词条。

所述环顾解码是在正式生成词条之前，对每个位置先预测其附近的其他位置可能会生成哪些字符，得到先验信息，然后结合该先验信息去生成当前位置的词条。