[发明专利]跨语际语言翻译的神经机器翻译模型构建及其翻译方法

说明书

本发明涉及属于机器翻译领域，提供了跨语际语言翻译的神经机器翻译模型构建及其翻译方法，适用于各类跨语际语言翻译。在训练时，基于训练子集的源语言语料进行编码，构建融合其上下文依赖关系的文本向量，然后计算得其文本表征；然后，针对该子集逐词进行解码，在每一步，首先融合历次译文文本和源文本获得混合表征，然后基于此进行焦点位置计算，获取当前焦点位置的翻译候选词；通过不同子集，在达到一定的步数后，根据候选词和真值的误差进行迭代训练。翻译方法，同样逐词进行翻译，在每一个翻译步，生成当前步基于焦点位置的翻译候选表示，并利用启发式搜索算法，选择其中全局概率值最大的候选文本作为当前步输出的译文文本，直至翻译完成。

技术领域

本发明属于机器翻译领域，具体涉及跨语际语言翻译的神经机器翻译模型构建及其翻译方法。

背景技术

语言文字是人类交流的重要途径，但是各个国家、地区和民族的语言差异造成了信息交流方面巨大的障碍，翻译是打破这个障碍最实用的途径，尤其是在经济全球化与互联网文化飞速发展的今天必不可少的工作。然而人工翻译需要翻译人员花费大量时间来学习翻译知识、语言背景，甚至文化环境，耗时耗力。机器翻译又称自动翻译，是指利用计算机将源语言翻译成目标语言的过程，对其的研究可追溯到20世纪40年代。到今天，利用机器进行语言翻译的理论和技术，在学术界和工业界的不懈努力下不断更新和成熟，主流方法从基于统计的器翻译逐步过渡到基于深度神经网络的机器翻译，简称为神经机器翻译。

神经机器翻译是基于数据驱动的翻译方法，却又区别于统计机器翻译。它把自然语言的翻译看作是学习问题，使用神经网络将源语言和目标语言文本映射到高维隐空间中进行自适应的语义转换训练，直至模型训练拟合。翻译时直接使用隐空间的映射参数对源语言文本进行转换生成译文。而统计机器翻译方法用数学模型对译文建模，利用具备一定规模的双语平行语料库训练这个模型和参数以获取语料中的翻译规则，最后利用翻译规则实现对源语言文本的翻译。两种翻译方法都具有语言无关性，只要提供平行语料库就能训练出对应的翻译模型，无需对翻译方法做根本性的修改。但神经机器翻译由于其灵活性，已成为目前最为主流的翻译方法。

目前，神经机器翻译已取得了一些应用和进展，有比较多基于深度神经网络实现的开源软件和工具包，其翻译效果达到了一定水平。如申请号为CN201810489333.3，名为一种基于分块机制的机器翻译方法的发明专利申请就公开了一种基于分块机制的神经机器翻译模型，以对文本进行分块划分后再进行机器翻译。其是基于深度循环神经网络构建的机器翻译模型，利用循环神经网络对序列信息的特殊建模方法获取文本词语的前后依赖关系，随后对其进行分块划分以实现准确度高的机器翻译模型。

神经机器翻译模型需要从大规模双语语料库中学习隐空间的映射关系，因此翻译质量受到语料库规模和语料质量的制约。理论上来说，只要数据质量足够好的双语语料库，神经机器翻译系统就能够获得高水平的翻译效果。然而实际上，在面对现实场景时存在诸多问题，一方面，面向跨语际语言翻译时，需要神经网络模型具备强大的上下文建模能力，才能应对跨语际语言因语法、句法结构上的巨大的区别产生的词语依赖建模问题；另一方面，机器翻译的具体应用中多见面向轻量设备的终端，例如在手机等设备，这些终端的存储空间和运算性能及其有限，只能支持训练好的模型参数直接用于翻译。

为了解决词语依赖建模问题，之前神经机器翻译多采用循环神经网络进行建模。循环神经网络是序列结构，源语言文本按序串行输入至网络进行逐词映射，同时前一词语的隐空间特征也会作为后一词语的部分输入帮助计算，从而建立词语间的依赖关系。循环神经网络的这种特性使得词语建模时每刻都能考虑到语言的上下文环境，是非常符合语言特性的，但也正是因此，循环神经网络对算力和时间都有较高的需求，尤其是面向长文本时。并行的注意力模型缓解了时耗的问题，该机制无需模型按序串行输入，直接对词语进行基于注意力机制的并行建模，但却产生了新的问题：由于缺乏了序列特征信息，词语间的隐空间向量非常的类似，且重构的源文本语义信息一经产生就不会再随着上下文信息更改，无法提供足够的区分信息用于预测不同时间步时的解码信息，造成模型在面对跨语际翻译时的泛化能力较弱。基于此，当前为解决深度神经网络模型在跨语际机器翻译上尚面临以下关键问题：