[发明专利]模型训练方法、翻译方法、相关装置、设备及存储介质

说明书

本申请公开了一种神经网络模型训练方法，包括：通过初始神经网络模型的向量转换层，将输入样本转换为第一输入向量，通过多个注意力网络中的每个注意力网络，将所述第一输入向量转换为与所述每个注意力网络对应的第一输出向量，通过非线性变换层，将每个第一输出向量分别线性变换为对应的第二输入向量，通过协同路由网络，根据每个第二输入向量对应的投票向量确定对应的第二输出向量，并将每个第二输出向量进行拼接，以得到目标输出向量，根据所述目标输出向量与所述输出样本对应向量的比对结果，对所述初始神经网络模型的参考参数进行迭代调整直到满足收敛条件，以得到目标神经网络模型。本申请训练得到的目标神经网络模型具有更强地学习能力。

技术领域

本申请涉及计算机技术领域，尤其涉及一种神经网络模型训练方法、一种机器翻译方法、神经网络模型训练的装置、机器翻译装置、相关设备以及计算机可读存储介质。

背景技术

近年来，注意力机制(Attention Mechanism)被广泛应用于基于深度学习的自然语言处理(Netural Language Processing，NLP)各个任务中，例如机器翻译、智能问答、语音识别等任务。

目前应用比较广泛的是多头注意力(Multi-headed Attention)机制，所谓多头注意力机制是指通过多个注意力网络学习不同特征，即通过计算多次来捕获不同子空间上的相关信息。

但目前基于多头注意力机制的模型在训练过程中，将各个子空间独立对待，其并不关注各个子空间之间的关联关系，因此目前基于多头注意力机制的模型的学习表征能力还比较弱。

发明内容

本申请实施例提供了一种神经网络模型训练方法，保证训练得到的神经网络模型能够对其中多个注意力网络各自的输出向量进行充分地交互，学习到包含更多信息的特征，从而增强模型的学习表征能力。本申请实施例还提供了相应的机器翻译方法、装置、设备及存储介质。

本申请第一方面提供一种神经网络模型训练的方法，包括：

获取训练样本集合，所述训练样本集合中包括多个训练样本对，其中每个训练样本对包括输入样本和输出样本；

通过初始神经网络模型的向量转换层，将输入样本转换为第一输入向量，所述初始神经网络模型还包括多个注意力网络、非线性变换层和协同路由网络；

通过多个注意力网络中的每个注意力网络，将所述第一输入向量转换为与所述每个注意力网络对应的第一输出向量；

通过非线性变换层，将每个第一输出向量分别线性变换为对应的第二输入向量；

通过协同路由网络，根据每个第二输入向量对应的投票向量确定对应的第二输出向量，并将每个第二输出向量进行拼接，以得到目标输出向量；

根据所述目标输出向量与所述输出样本对应向量的比对结果，对所述初始神经网络模型的参考参数进行迭代调整直到满足收敛条件，以得到目标神经网络模型。

本申请第二方面提供了一种机器翻译方法，包括：

获取待翻译内容；

通过机器翻译模型获得所述待翻译内容对应的翻译结果，所述机器翻译模型为根据上述第一方面所述的模型训练方式训练得到的目标神经网络模型；

显示所述翻译结果。

本申请第三方面提供了一种神经网络模型训练的装置，包括：

获取模块，用于获取训练样本集合，所述训练样本集合中包括多个训练样本对，其中每个训练样本对包括输入样本和输出样本；

第一转换模块，用于通过初始神经网络模型的向量转换层，将获取模块获取的所述输入样本转换为第一输入向量，所述初始神经网络模型还包括多个注意力网络、非线性变换层和协同路由网络；