[发明专利]一种基于特征金字塔的神经机器翻译方法

说明书

本发明公开一种基于特征金字塔的神经机器翻译方法，步骤为：将预处理后的源语言输入送入翻译模型的编码器端编码成不同维度的上下文向量；编码器的隐层维度在前馈过程中成金字塔型缩放并分为不同子块；在编解码器注意力权重的计算过程中，对不同维度的编码键向量和解码查询向量进行不同尺度的多头分割；将不同维度的编解码注意力计算结果加权平均，得到最终的编解码器注意力输出向量，解码器通过堆叠的解码器层将源语上下文向量解码成目标语译文，并通过交叉熵损失函数进行梯度更新，优化翻译模型的权重。本发明降低了编解码器注意力计算中的冗余计算，解决了编解码注意力计算中维度不一致问题，有效融合不同尺度的源语特征，提高模型的翻译质量。

技术领域

本发明涉及一种机器语言翻译技术，具体为一种基于特征金字塔的神经机器翻译方法。

背景技术

机器翻译(Machine Translation，简称MT)是采用计算机进行自然语言之间相互翻译的一门实验学科。利用机器翻译技术，可以将一门源语言自动地转化为目标语言。机器翻译作为消除人们跨语言交流障碍的关键技术，一直是自然语言处理研究的重要组成部分。相比于人工翻译，机器翻译效率更高并且成本更低，对于促进文化传播和交流有着重要意义。机器翻译技术可以概括为基于理性主义的方法和基于经验主义的方法两种，自20世纪40年代提出至今，机器翻译已经经历了近70年的发展，发展历史大致可以分为三个阶段：基于规则的机器翻译、基于统计的机器翻译和基于神经网络的机器翻译。

基于规则的机器翻译技术采用人工构造规则的方法，对源语输入进行相应转换，得到目标翻译结果。这种方法的缺点在于需要大量的人工代价来构造规则，规则覆盖范围有限并且会出现冲突，使得系统可扩展性和鲁棒性差。之后，研究人员采用基于统计的机器翻译技术，利用统计方法进行建模，完全舍弃了对手工规则的依赖。统计机器翻译需要对大量的双语平行语料进行统计分析，从而构造统计翻译模型来完成翻译。近年来，神经网络在机器翻译领域受到了广泛的关注。神经机器翻译采用端到端的编码器-解码器框架，编码器将源语输入编码成一个稠密的源语上下文向量，解码器负责参考源语上下文向量进行自回归解码，生成最终的翻译结果。

Transformer模型作为目前最主流的神经机器翻译模型，仍然采用编解码器的结构，利用注意力机制对源语上下文信息和单词的位置信息进行编码和解码。在注意力计算过程中，采用多头切分的方式，使不同头关注到不同语义空间的信息。注意力机制除了自注意力外，还有编解码器注意力。它们的区别在于：自注意力的查询向量、键向量、值向量都是同一层的中间向量、而编解码器注意力的查询向量是解码端的中间向量，而键向量和值向量则是编码端输出的源语编码向量。在Transformer中，隐层维度的大小是固定的(通常为512)。

Transformer的编码器和解码器采用层堆叠方式构建的，由于相同结构的层堆叠使得不同层的输出存在一定程度的冗余，模型的编码效率不高。同时解码器只关注编码器最后一层的输出，导致模型无法从更细粒度的方面利用源语上下文信息。

特征金字塔模型最早是在图像领域提出的，图像领域任务一般采用卷积神经网络，而卷积神经网络由于池化层的存在，天然呈现一种金字塔的形状。在目标检测任务中，由于不同目标的尺度大小不同，而卷积网络中不同层的提取的特征粗细粒度不一样，因此需要把最后层的特征反向传递，与底层信息进行融合，作为检测任务最终需要用到的特征信息。

发明内容

本发明提出一种基于特征金字塔的神经机器翻译方法，在Transformer模型中解码端计算编解码注意力时，不仅关注编码端最后的源语编码信息，同时关注编码端不同层的隐层信息。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种基于特征金字塔的神经机器翻译方法，包括以下步骤：

1)将预处理后的源语言输入送入翻译模型的编码器端，通过词嵌入层和堆叠的编码器层编码成不同维度的上下文向量；