[发明专利]模型训练方法、机器翻译方法以及相关装置和设备

权利要求书

1.一种神经网络模型训练方法，其特征在于，包括：

获取训练样本集，所述训练样本集包括训练样本及其对应的标准翻译文本对应的向量，所述训练样本为待翻译的文本数据；

将所述训练样本集中的训练样本输入神经网络模型中，所述神经网络模型包括多个注意力网络；

通过所述神经网络模型的第一层网络结构，将所述训练样本对应的元素序列中的元素转换为列向量，其中，每个元素为一个待翻译的字或单词；将所述元素序列中的各个元素对应的列向量进行组合，得到所述训练样本对应的源端向量序列，所述源端向量序列是由所述列向量构成的向量序列，将所述训练样本对应的源端向量序列输入所述多个注意力网络中，得到所述多个注意力网络针对各个元素各自的输出向量，每个注意力网络针对每个元素的输出向量代表该元素在与该注意力网络对应的子空间中的特征信息；

通过所述神经网络模型，对所述多个注意力网络针对各个元素各自的输出向量进行非线性变换，得到所述多个注意力网络对应的特征融合向量；

获取所述神经网络模型根据所述特征融合向量输出的训练样本对应的预测标签向量，所述预测标签向量为所述训练样本对应的预测翻译文本对应的向量；

根据训练样本对应的预测标签向量与所述标准翻译文本对应的向量的对比结果，对所述神经网络模型的模型参数进行迭代调整，直到满足收敛条件，得到目标神经网络模型，所述目标神经网络模型用于对所述待翻译的文本数据进行翻译。

2.根据权利要求1所述方法，其特征在于，所述对所述多个注意力网络针对各个元素各自的输出向量进行非线性变换，得到所述多个注意力网络对应的特征融合向量，包括：

将所述多个注意力网络针对各个元素各自的输出向量并排堆叠成一张二维的特征图；

通过卷积神经网络从所述特征图提取特征得到三维张量；

将所述三维张量序列化处理得到一个一维向量；

对所述一维向量作线性变换得到所述多个注意力网络对应的特征融合向量。

3.根据权利要求2所述方法，其特征在于，所述通过卷积神经网络从所述特征图提取特征得到三维张量，包括：

采用卷积神经网络对所述特征图进行卷积操作得到三维张量；或者，

采用卷积神经网络对所述特征图进行卷积和池化操作得到三维张量。

4.根据权利要求1所述方法，其特征在于，所述对所述多个注意力网络针对各个元素各自的输出向量进行非线性变换，得到所述多个注意力网络对应的特征融合向量，包括：

将所述多个注意力网络针对各个元素各自的输出向量进行拼接得到第一向量；

对所述第一向量进行两次映射分别得到第二向量和第三向量；

将所述第二向量和所述第三向量按照元素对应相乘得到第四向量；

对所述第四向量进行线性映射得到所述多个注意力网络对应的特征融合向量。

5.根据权利要求1所述方法，其特征在于，所述对所述多个注意力网络针对各个元素各自的输出向量进行非线性变换，得到所述多个注意力网络对应的特征融合向量，包括：

将所述多个注意力网络针对各个元素各自的输出向量进行拼接，得到第一向量；

对所述第一向量进行两次映射分别得到第二向量和第三向量；

将所述第二向量和所述第三向量按照元素对应相乘得到第四向量；

将所述第四向量和所述第一向量融合得到第五向量；

对所述第五向量进行线性映射得到所述多个注意力网络对应的特征融合向量。

6.根据权利要求5所述方法，其特征在于，所述根据所述第四向量和所述第一向量融合得到第五向量，包括：

将所述第四向量和所述第一向量进行顺序拼接得到第五向量；或者，

将所述第四向量和所述第一向量按照元素位置对应相乘得到第五向量；或者，

将所述第四向量和所述第一向量按照元素位置对应相加得到第五向量。