[发明专利]一种多领域神经机器翻译性能提升方法

说明书

本发明公开一种多领域神经机器翻译性能提升方法，步骤为：爬取海量数据作为模型训练语料，分为特定领域语料库和多领域平行语料库；计算多领域平行语料库中每个句子与各个特定领域语料库的相似度；从多领域平行语料库中筛选与多个特定领域语料库平均相似度高的句子作为多领域模型的训练集；构建多领域深层神经机器翻译模型和多个特定领域的深层神经机器翻译模型进行训练并存储模型参数；计算各个特定领域语料库与多领域平行语料库的相似度，对多领域模型和各个特定领域模型进行循环知识精炼，最终得到性能提升的多领域神经机器翻译模型。本发明方法减少了训练过程中不同领域间的干扰，最终达到提升多领域神经机器翻译模型的翻译性能的目的。

技术领域

本发明涉及一种多领域神经机器翻译性能提升技术，具体为一种多领域神经机器翻译性能提升方法。

背景技术

机器翻译(Machine Translation或MT)是利用电子计算机在各种自然语言之间进行自动翻译的实验科学。具体地说，是利用计算机将一门自然语言(源语言)转换为另一种自然语言(目标语言)的过程。长期以来，机器翻译技术被认为是解决各个语言间翻译问题的终极手段之一，在世界全球化的今天，机器翻译技术的实际应用需求非常强烈，这也引起了各个国家在这一关键领域进行科技投资，中国政府将包括机器翻译技术在内的自然语言理解研究纳入国家中长期科技开发计划的纲要中。由美国国防部主导的“2049”计划使用机器翻译作为现代信息技术重要技术之一。这些都反映了机器翻译的巨大价值和技术应用前景。

机器翻译的方法分为两种，一种是基于规则的机器翻译，另一种是基于语料库的机器翻译。具体来说，基于语料库的机器翻译可分为基于实例的机器翻译，统计机器翻译和神经机器翻译。早期人们主要使用规则进行机器翻译。然而，随着研究的深入，基于规则的方法逐渐暴露出手工书写规则覆盖范围有限，规则数量增加引起冲突，语言扩展困难等问题。虽然随后的基于案例的方法可以在一定程度上缓解上述问题，但问题还没有从根本上得到解决。

早期的机器翻译主要依靠人工来定义规则，但是之后人们发现这种人工定义的规则对于语料库覆盖度有限，而且大量的规则很难维护，之后机器翻译研究有了突破性进展，是由于统计机器翻译思想的诞生，由IBM和ATT等机构于上世纪九十年代初提出，而统计机器翻译还是需要人工的去定义一些规则。近年来，随着深度学习的兴起，基于深度学习的神经机器翻译方法被提出，简称神经机器翻译。该方法直接用神经网络对机器翻译问题进行建模，并以端到端的方式完成模型学习，整个过程不需要人工特征的设计。

以自注意(Self-attention)机制为基础的神经机器翻译系统，是使不同位置词汇间的信息直接传达的方法，在更远的信息传达距离情况下更具有优势，因而在很多同种系统中受到关注。这种神经机器翻译模型能够更充分地表示序列中不同位置的词汇之间的复杂关系。其中心思想是，通过考虑来源或目标语句任意位置的词汇间的关联度，获得词汇间的关联性，并将其作为不同词汇或片断信息统合过程中的重要度。最终，可以得到源语中的语义信息表现。

这种基于注意力机制的神经机器翻译模型虽然在性能上相较于之前的模型有了不错的提升，但是随着神经机器翻译在工业届的应用，训练一个成型的机器翻译模型通常需要使用大规模的多领域混合的数据，而这些混合数据涵盖了不同领域和文体的语料，具体包括了政治、新闻、科技和体育等各大门类在内，除此之外，还相应地包括书面文体、口语文体和网络语言等等。由于训练数据主要集中在通用领域，虽然使用多领域数据进行训练得到的系统通用性较好，但并不能在某一特定领域得到足够让人满意的结果。而使用单一领域的数据训练得到的系统只在该领域上效果较好，当用于处理其他领域时的结果往往不足以令人接受。