[发明专利]基于迭代式双向迁移的神经网络机器翻译模型

摘要

基于迭代式双向迁移的神经网络机器翻译模型，涉及自然语言处理。通过建立源领域和目标领域之间的多次双向迁移，利用双方的有效交互和相关知识的有益流动，不断完善不同领域的模型能力，从而达到更佳的翻译效果。由一对一的领域迁移推广到多对一的领域迁移，并提出了多对一的领域迁移中，不同源领域到目标领域的迁移顺序问题的有效解决方案，使模型能够更充分地利用多领域的语料资源。训练过程利用知识蒸馏的方法来更有效地指导模型的收敛，避免了灾难性遗忘和知识稀疏问题，实现两个领域翻译模型的“双赢”。

主权项

1.基于迭代式双向迁移的神经网络机器翻译模型，其特征在于包括以下步骤：/n1)利用源领域的训练语料训练得到一个面向源领域的翻译任务的神经网络机器翻译模型，即源领域机器翻译模型，并利用目标领域的训练语料训练得到一个面向目标领域的翻译任务的神经网络机器翻译模型，即目标领域机器翻译模型，并以此作为最初的两个领域的最优模型；/n2)利用源领域的双语语料训练集训练当前的目标领域机器翻译模型，在最优的源领域机器翻译模型的指导下，利用知识蒸馏的方法，从目标领域迁移得到新的源领域机器翻译模型；/n3)利用目标领域的双语语料训练集训练步骤2)中得到的源领域机器翻译模型，在最优的目标领域机器翻译模型的指导下，利用知识蒸馏的方法，从源领域迁移得到新的目标领域机器翻译模型；/n4)利用源领域的开发集验证步骤2)中得到的源领域机器翻译模型，若性能有所提升，则将其作为源领域的最优模型用于后续迁移过程的训练指导；利用目标领域的开发集验证步骤3)中得到的目标领域机器翻译模型，若性能有所提升，则将其作为目标领域的最优模型用于后续迁移过程的训练指导；/n5)重复步骤2)～4)直到迭代次数达到预设最大迭代次数K；/n6)当推广到多对一的领域迁移情境下，步骤2)～4)中涉及到迁移顺序问题，按照领域相关程度，由低到高逐个与目标领域进行双向迁移。/n