[发明专利]一种神经机器翻译系统的性能提升方法

说明书

本发明公开一种神经机器翻译系统的性能提升方法，步骤为：处理训练数据并初始化神经机器翻译系统的参数；将神经机器翻译系统中的绝对位置编码生成规则调整为乘积式正余弦编码生成规则；输入训练数据，将绝对位置编码读入神经机器翻译系统，与输入源语句的词向量相加，得到与位置信息融合的词向量，并送入神经机器翻译模型；使用梯度下降方法训练神经机器翻译系统至收敛，训练过程与现有神经机器翻译系统的训练过程一致；在解码过程中，对于绝对位置编码生成规则，与乘积式正余弦编码生成规则保持一致。本发明在不改变神经机器翻译系统参数量与计算量的前提下，提升了翻译系统对输入语言语序的识别能力，有效地提升了神经机器翻译系统的翻译性能。

技术领域

本发明涉及一种神经机器翻译技术，具体为一种神经机器翻译系统的性能提升方法。

背景技术

机器翻译(Machine Translation，简称MT)是一门使用计算机进行自然语言之间相互翻译的学科。它是自然语言处理研究方向的一个支系，也是人工智能的最终目标之一。机器翻译相比于人工翻译，即使翻译质量有着一定差距，但是机器翻译的高效率以及低成本所带来的收益是极为可观的，并且对于促进人类文化交流有着重要意义。

早期的机器翻译研究都是以基于规则的方法为主，特别是在上世纪70年代，以基于规则方法为代表的专家系统是人工智能中最具代表性的研究领域。它的主要思想是以词典和人工书写的规则库作为翻译知识，用一系列规则的组合完成翻译。该方法的缺陷在于需要大量语言学专家构造规则，并且制定的规则难以统一，甚至人工定义的规则之间会出现冲突，造成基于规则的翻译系统的可扩展性和可维护性较差。

直到上世纪90年代，统计机器翻译逐渐兴起。它利用统计模型从单语或双语语料中自动学习翻译知识。统计机器翻译使用单语语料学习语言模型，使用双语平行语料学习翻译模型，并使用这些统计模型完成对翻译过程的建模。整个过程不需要人工编写规则，也不需要从实例中构建翻译模板。无论是词还是短语，甚至是句法结构，统计机器翻译系统都可以自动学习。但统计机器翻译需要对大量的双语平行语料进行统计分析，从而构造统计翻译模型来完成翻译。至2005年开始，统计机器翻译进入了十年黄金时期。在这一时期，各种基于统计机器翻译模型层出不穷，经典的基于短语的模型和基于句法的模型也先后被提出。

自2014年开始，随着机器学习技术的发展，基于深度学习的神经机器翻译逐渐兴起。它在短短几年内已经在大部分任务上取得了明显的优势。在神经机器翻译中，词串被表示成实数向量。翻译过程并不是在离散化的单词和短语上进行，而是在实数向量空间上计算，因此它对词序列表示的方式产生了本质的改变。在神经机器翻译中，序列到序列的转化过程可以由编码器-解码器框架实现。编码器将输入的源语经过编码形成一个稠密的语义向量，之后解码器结合语义向量进行自回归解码，生成最终关于目标语的翻译结果。这种方法不需要额外的人工特征工程，直接使用神经网络进行建模，同样也需要大量的双语语料进行训练。

目前，神经机器翻译系统已经取得较好的效果，如果神经机器翻译模型经过较优的参数训练达到足够强的表示能力，那么与传统的基于规则的机器翻译方法和基于统计的机器翻译方法相比，在翻译速度与质量方面都有着较大的优势。但与专业的人工翻译相比较，依旧存在不小差距，因此对神经机器翻译性能的进一步优化更是成为一个待解决的难题。

神经机器翻译系统在实际生活中已经得到了广泛应用，但依旧存在捕获位置信息能力较差、鲁棒性较差等难题。随着国际化交流越来越普及，尽管神经机器翻译具有优秀的性能。但是在重要场景下，神经机器翻译系统依旧只能起到辅助作用。所以提升神经机器翻译系统性能便成了机器翻译技术应用的关键问题。在传统的神经网络系统性能方法中，需要在系统上进行一系列复杂的操作才能取得较好的性能提升效果，耗时长且难以复现，大大限制了机器翻译技术的实际应用。

发明内容