[发明专利]一种基于迁移学习策略的蒙汉神经机器翻译方法

说明书

本发明是为解决目前蒙汉机器翻译译文质量低、翻译效果差问题提出的。蒙古语属于低资源语言，收集大量的蒙汉平行双语语料库极为困难，本发明中迁移学习策略可以有效的解决这一难题。迁移学习策略是运用已有的知识对不同但是相关领域问题进行求解的方法。首先，利用大规模的英‑汉平行语料基于神经机器翻译框架进行训练；其次，将大规模的英‑汉平行语料训练好的翻译模型参数权重迁移到蒙汉神经机器翻译框架中，利用现有的蒙‑汉平行语料训练神经机器翻译模型；最后，将基于迁移学习策略的神经机器翻译译文和统计机器翻译译文就BLEU值和译文流利度进行对比和评价。通过运用控制变量法，得出迁移学习策略有效提高了蒙汉机器翻译性能。

技术领域

本发明属于神经机器翻译技术领域，特别涉及一种基于迁移学习策略的蒙汉神经机器翻译方法。

背景技术

机器翻译指使用机器(计算机)自动地将一种自然语言转化为具有完全相同含义的另一种自然语言的过程。近几年随着国际间交流的日趋频繁，机器翻译作为突破语言障碍的重要手段，在人们的生产、生活中发挥着越来越大的作用。神经机器翻译作为数据驱动方法的机器翻译中的一种，高度依赖平行语料数据结构的规模、质量。由于神经网络参数规模庞大，只有当训练语料库具有一定的规模后，神经机器翻译才会显著超过统计机器翻译译文质量。然而，目前可用于实验的蒙汉平行语料资源十分有限，收集大量蒙汉双语平行语料库需要耗费大量的人力、物力极为困难。

蒙古语机器翻译研究起步较晚以及蒙古语语法本身复杂性使得蒙汉机器翻译研究进展相对缓慢，其中，蒙汉平行语料数据集匮乏是阻碍蒙汉机器翻译研究的一个不容忽视的大问题。而迁移学习的核心思想是把训练源任务获取的知识存储下来，应用于新的(不同，但相近任务)任务中。迁移学习策略允许借用大量已有的标记数据来训练网络将其知识迁移到标记数据较少的模型中。

目前，已有一些神经机器翻译技术针对低资源语言存在平行语料库匮乏问题被提出。由于蒙-汉平行语料匮乏以及蒙古语语法本身复杂性使得翻译译文质量并不理想，翻译过程仍存在严重的数据稀疏现象。迁移学习策略将已学习到的知识应用到相近任务上，减少应用任务的训练数据量，为达到通用人工智能提供了可能性。相比从头训练神经网络迁移学习策略可以实现将已经训练好的网络结构的参数权重作为预训练，从而加快翻译模型训练进展以及提升最终的翻译译文质量。

发明内容

为了克服上述现有技术的缺点，本发明从缓解蒙汉机器翻译存在数据稀疏问题和提高蒙汉机器翻译译文质量的角度出发，针对低资源语言提出了一种简单有效的迁移学习策略。目前，除了中英语言拥有大量的双语平行语料库资源，其他语言都普遍存在平行语料库匮乏的问题。本发明将大量英-汉平行语料库资源训练得到网络参数权重，将其迁移到蒙汉神经机器翻译模型中，再利用蒙-汉平行语料库训练得到蒙汉神经翻译模型。从而解决了蒙-汉平行语料库不足问题，达到提升蒙汉机器翻译性能的目标。

为了实现上述目的，本发明采用的技术方案是：

一种基于迁移学习策略的蒙汉神经机器翻译方法，首先，利用大规模的英汉平行语料进行英汉神经机器翻译模型训练；其次，将训练学到的网络参数权重迁移到蒙汉神经机器翻译模型中；然后，利用现有蒙汉平行语料进行蒙汉神经机器翻译模型训练，得到基于迁移学习策略的蒙汉神经机器翻译模型；最后，利用训练得到的蒙汉神经机器翻译模型实现蒙汉神经机器翻译。

其具体步骤可描述如下：

01：对中文和英文语料进行数据集的划分以及数据预处理工作；数据集划分是指划分为训练集、验证集和测试集，数据预处理工作包括中文分词和英文预处理；

02：构建RNN循环神经机器翻译模型构架，包括编码器和解码器；

03：利用大规模的英汉平行语料进行英汉神经机器翻译模型训练，模型训练中利用随机梯度下降(SGD)对网络参数进行调整和优化；