[发明专利]基于迭代式双向迁移的神经网络机器翻译模型

说明书

基于迭代式双向迁移的神经网络机器翻译模型，涉及自然语言处理。通过建立源领域和目标领域之间的多次双向迁移，利用双方的有效交互和相关知识的有益流动，不断完善不同领域的模型能力，从而达到更佳的翻译效果。由一对一的领域迁移推广到多对一的领域迁移，并提出了多对一的领域迁移中，不同源领域到目标领域的迁移顺序问题的有效解决方案，使模型能够更充分地利用多领域的语料资源。训练过程利用知识蒸馏的方法来更有效地指导模型的收敛，避免了灾难性遗忘和知识稀疏问题，实现两个领域翻译模型的“双赢”。

技术领域

本发明涉及自然语言处理，尤其是涉及低资源领域的基于迭代式双向迁移的神经网络机器翻译模型。

背景技术

自然语言处理是计算机学科人工智能的一个重要研究方向。它研究如何使得人与计算机之间能够使用自然语言进行有效通信，是一门融语言学、计算机科学、数学于一体的学科。

其中，神经机器翻译是一个不容忽视的重要任务。近年来，神经机器翻译引起了学术界和工业界的广泛关注。神经网络机器翻译模型能取得良好的性能得益于大规模的、高质量的双语平行训练语料，在实际运用中，各个领域的双语训练语料规模大小不一，如新闻领域，由于来源广泛，产量多，所以能够轻易获取大规模的双语训练语料，但其他领域，如论文、小说等，其大规模、高质量的训练语料通常难以获取，需耗费大量的人力物力。领域迁移正是缓解这个问题的有效方法。

目前，基于领域迁移的神经网络机器翻译的相关工作主要分为两部分：1、一对一的领域迁移，如图1。即将包含大规模语料的源领域的信息迁移到目标领域，以提升目标领域机器翻译模型的性能。代表工作有模型微调(Fine-tuning)[1][2]，基于混合数据的模型微调(Mixed Fine-tuning)[3]，权重区分(Cost Weighting)[4]，以及句子挑选(DataSelection)[5][6]；特别地，一对一的领域迁移也可推广到多对一的情况，如图3，即混合其他领域数据辅助训练目标领域翻译模型。2、多领域的神经网络机器翻译模型。即利用所有领域的数据组成的混合领域数据，共同训练建模一个统一的、面向多个领域机器翻译任务的神经网络机器翻译模型[7][8][9][10][11][12]。

如何充分探索大规模源领域的双语语料库中的有效信息，来提升特定低资源领域的神经网络机器翻译模型的性能。现有的解决方案存在以下两个问题：1)现有的领域迁移模型大多只关注单向的，即源领域到目标领域的单向迁移，没有目标领域到源领域的反馈途径，缺少两者的交互；2)领域之间由于文本风格和使用环境的不同，其领域信息间的差距也不同。对于源领域和目标领域差距较大的，如新闻领域迁移到小说领域，这种强制的一次性迁移是无效的，甚至可能导致目标领域的性能降低，产生“负迁移”；3)在问题2)的基础上，当存在多个大规模语料的源领域时，如何区分不同源领域的迁移强度，是一个亟待解决的问题。

因此，如何建模源领域和目标领域的反馈机制，充分挖掘源领域的双语语料库中对目标领域的神经网络机器翻译模型有效的翻译信息，仍是一个值得研究的问题。

参考文献:

[1]Minh-Thang Luong and Christopher D Manning.2015.Stanford neuralmachine translation systems for spoken language domains.In Proc.of IWSLT2015.

[2]Barret Zoph,Deniz Yuret,Jonathan May,and KevinKnight.2016.Transfer learning for low-resource neural machinetranslation.Proc.of EMNLP 2016.