[发明专利]一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法

说明书

本发明公开了一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法，包括：依据蒙汉平行语料库抽取出汉语依存句法信息，并将依存句法信息转换成邻接矩阵；在Transformer模型的输出端额外增加一路，则Transformer模型的一路用于预测汉语目标语句，另一路学习汉语依存句法知识；在编码器端显式地加入用于学习蒙语句法信息的模块，利用汉语句法知识强化蒙语语法的学习，原始Transformer模型默认隐式地学习了源语言、目标语言的句法信息，本发明显式地利用目标语言端的句法信息指导模型对源语言的句法信息进行学习。

技术领域

本发明属于人工智能及自然语言处理技术领域，涉及蒙语到汉语的端到端的翻译，特别涉及一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法。

背景技术

不同的民族有着不同的文化、信仰和习俗，加强民族之间的交流是促进民族之间友好来的重要途径，蒙古族同胞是祖国大家庭中的一员，蒙汉翻译能有力地促进蒙古族文化与汉族文化的交流，只有在无语言阻碍的基础上进行交流才能够真正地进行文化、技术等的文化传播，蒙古族的优秀文化、艺术、知识、习俗、信仰等都可以通过蒙汉翻译进行传播，让更多的人能了解蒙古族的文化，蒙汉翻译有效地促进了蒙古族与汉族的文化交流，并为蒙古族的文化发展和中华民族的全面发展起到了推动的作用。

蒙汉机器翻译相对于其它语种的机器翻译来说，成果较少、前沿的研究比较薄弱，而其研究方法也随着世界机器翻译技术的革新而发展，总的来说蒙汉机器翻译呈现逐步从规则到统计，从统计到神经机器翻译的过渡，在这一过程中研究者会将两种或两种以上的方法进行融合以提升蒙汉机器翻译的翻译效果，目前，机器翻译以神经机器翻译技术为主流，而神经机器翻译技术在蒙汉翻译上的应用仍有很多改进之处。

蒙古语中有许多语义相同但词形不同的词语，这会使神经机器翻译中所用到的字典无法容纳足够多的蒙古语词语，同时也会使翻译模型无法学习到好的词向量，从而影响神经机器翻译的性能。

发明内容

(一)解决的技术问题

针对现有技术的不足，为了克服上述现有技术的缺点，本发明的目的在于提供一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法，在Transformer的编码器中显式地添加蒙语句法学习模块，在解码器后添加汉语依存句法树的邻接矩阵来指导模型对蒙语句法的学习，在训练结束后，还可以通过蒙语学习模块还原出蒙语句法信息。

(二)技术方案

一种基于依存句法信息和Transformer模型的蒙汉神经机器翻译方法，首先，运用Stanford CoreNLP对蒙汉平行语料训练集里的汉语语料进行依存句法分析，得到依存句法树，再将依存句法树转化为邻接矩阵，并将矩阵沿着主对角线对称化，称为汉语依存句法邻接矩阵，其次改进Transformer模型，一是在Transformer模型最后一个解码器输出后增加一个单向LSTM循环单元，并将单向LSTM循环单元的输出矩阵与汉语依存句法邻接矩阵按元素相减得到损失值L2，L2与Transformer模型原始输出的交叉熵损失值L1相加为模型的总损失值，二是改进Transformer模型的编码器，在编码器中设置用于学习蒙语语法的矩阵，然后利用训练集对模型进行训练，利用验证集对模型进行微调，利用测试集对模型进行评价。

优选的，所述提取汉语依存句法邻接矩阵的流程如下：

步骤1：将蒙汉平行语料数据集划分为训练集，验证集和测试集三部分；

步骤2：利用Stanford CoreNLP对蒙汉平行语料训练集里的汉语语料进行依存句法分析，得到汉语依存句法树；

步骤3：将步骤1得到的汉语依存句法树转换为邻接矩阵存储，并将该邻接矩阵沿主对角线对称化，称为汉语依存句法邻接矩阵。

优选的，所述改进Transformer模型，增加一路输出和在编码器上加入用于学习蒙语语法的矩阵的流程为：