[发明专利]模型训练方法、机器翻译方法以及相关装置和设备

说明书

本申请实施例公开了一种神经网络模型训练方法、装置、设备以及介质，该方法包括：获取包括有训练样本及其对应的标准标签向量的训练样本集；将训练样本输入包括多个注意力网络的神经网络模型；通过神经网络模型对多个注意力网络各自的输出向量进行非线性变换，得到多个注意力网络对应的特征融合向量；获取神经网络模型根据特征融合向量输出预测标签向量，根据预测标签向量与标准标签向量的对比结果，对神经网络模型的模型参数进行调整，直到满足收敛条件，得到目标神经网络模型。采用非线性变换的方式融合各个注意力网络的输出向量，使得各个注意力网络的输出向量充分交互，生成更有信息量的特征融合特征向量，保证最终的输出表示效果更好。

技术领域

本申请涉及计算机技术领域，尤其涉及一种神经网络模型训练方法、一种机器翻译方法、神经网络模型训练装置、机器翻译装置、设备以及以及计算机可读存储介质。

背景技术

近年来，注意力机制(Attention Mechanism)被广泛应用于基于深度学习的自然语言处理(Netural Language Processing，NLP)各个任务中，例如机器翻译、智能问答、语音识别等任务。

目前应用比较广泛的是多头注意力(Multi-headed Attention)机制，所谓多头注意力机制是指通过多个注意力网络学习不同特征，即通过计算多次来捕获不同子空间上的相关信息。

但目前基于多头注意力机制的模型在训练过程中，将各个子空间独立对待，其并不关注各个子空间之间的关联关系，因此目前基于多头注意力机制的模型的学习表征能力还比较弱。

发明内容

本申请实施例提供了一种神经网络模型训练方法，保证训练得到的神经网络模型能够对其中多个注意力网络各自的输出向量进行充分地交互，学习到包含更多信息的特征，从而增强模型的学习表征能力。

第一方面，本申请实施例提供了一种神经网络模型训练方法，包括：

获取训练样本集，所述训练样本集包括训练样本及其对应的标准标签向量；

将所述训练样本集中的训练样本输入神经网络模型中，所述神经网络模型包括多个注意力网络；

通过所述神经网络模型，对所述多个注意力网络各自的输出向量进行非线性变换，得到所述多个注意力网络对应的特征融合向量；

获取所述神经网络模型根据所述特征融合向量输出的训练样本对应的预测标签向量；

根据训练样本对应的预测标签向量与标准标签向量的对比结果，对所述神经网络模型的模型参数进行迭代调整，直到满足收敛条件，得到目标神经网络模型。

第二方面，本申请实施例提供了一种机器翻译方法，包括：

获取待翻译内容；

通过机器翻译模型获得所述待翻译内容对应的翻译结果，所述机器翻译模型根据上述第一方面所述的模型训练方式训练得到的；

显示所述翻译结果。

第三方面，本申请实施例提供了一种神经网络模型训练装置，包括：

获取模块，用于获取训练样本集，所述训练样本集包括各个训练样本及其对应的标准标签向量；

输入模块，用于将所述训练样本集中的训练样本输入神经网络模型中，所述神经网络模型包括多个注意力网络；

特征融合向量生成模块，用于对所述多个注意力网络各自的输出向量进行非线性变换，得到所述多个注意力网络对应的特征融合向量；

预测标签向量获取模块，用于获取所述神经网络模型根据所述特征融合向量输出的训练样本对应的预测标签向量；