[发明专利]多模态机器翻译方法、装置、电子设备和存储介质

权利要求书

1.一种多模态机器翻译方法，其特征在于，包括：

确定待翻译的源语言文本；

将所述源语言文本输入至翻译模型中，得到所述翻译模型输出的目标语言文本；

所述翻译模型是基于样本源语言文本和样本目标语言文本，以及与所述样本源语言文本匹配的样本图像，联合重建模型训练得到的；

所述翻译模型与所述重建模型共用特征编码层，模型训练过程中所述特征编码层用于编码第一序列和第二序列，所述翻译模型基于所述第一序列的编码进行翻译，所述重建模型基于所述第二序列的编码进行重建；

其中，所述第一序列是将所述样本源语言文本输入到源语言词嵌入层，得到的所述样本源语言文本的词向量表示；

所述第二序列是基于如下步骤确定的：

确定所述样本源语言文本中的各实体；

以所述各实体为目标在所述样本图像中进行目标检测，得到各实体的区域图像；

将所述各实体的区域图像的图像表示映射到与所述样本源语言文本中的非实体的文本表示相同的语义空间中，得到各实体的实体表示；

基于所述样本源语言文本中各分词的排列顺序，拼接所述非实体的文本表示以及所述各实体的实体表示，得到所述第二序列。

2.根据权利要求1所述的多模态机器翻译方法，其特征在于，所述翻译模型还包括翻译解码层，所述重建模型还包括重建解码层；

所述翻译解码层用于基于所述第一序列的编码进行翻译，所述重建解码层用于基于所述第二序列的编码进行重建；

所述翻译解码层和所述重建解码层的参数共享或相互独立。

3.根据权利要求2所述的多模态机器翻译方法，其特征在于，所述将所述源语言文本输入至翻译模型中，得到所述翻译模型输出的目标语言文本，包括：

将所述源语言文本的文本序列输入至所述特征编码层，得到所述特征编码层输出的所述文本序列的编码，所述文本序列是所述源语言文本中各分词的文本表示序列；

将所述文本序列的编码输入至所述翻译解码层，得到所述翻译解码层输出的所述目标语言文本。

4.根据权利要求1所述的多模态机器翻译方法，其特征在于，所述翻译模型的损失函数是基于翻译损失函数和重建损失函数确定的；

所述翻译损失函数表征所述样本目标语言文本与所述翻译模型输出的预测目标语言文本之间的差异，所述重建损失函数表征所述样本源语言文本与所述重建模型输出的重建文本之间的差异。

5.根据权利要求1至4中任一项所述的多模态机器翻译方法，其特征在于，所述实体为名词实体或名词短语实体。

6.一种多模态机器翻译装置，其特征在于，包括：

确定模块，用于确定待翻译的源语言文本；

翻译模块，用于将所述源语言文本输入至翻译模型中，得到所述翻译模型输出的目标语言文本；

所述翻译模型是基于样本源语言文本和样本目标语言文本，以及与所述样本源语言文本匹配的样本图像，联合重建模型训练得到的；

所述翻译模型与所述重建模型共用特征编码层，模型训练过程中所述特征编码层用于编码第一序列和第二序列，所述翻译模型基于所述第一序列的编码进行翻译，所述重建模型基于所述第二序列的编码进行重建；

其中，所述第一序列是将所述样本源语言文本输入到源语言词嵌入层，得到的所述样本源语言文本的词向量表示；

所述第二序列是基于如下步骤确定的：

确定所述样本源语言文本中的各实体；

以所述各实体为目标在所述样本图像中进行目标检测，得到各实体的区域图像；

将所述各实体的区域图像的图像表示映射到与所述样本源语言文本中的非实体的文本表示相同的语义空间中，得到各实体的实体表示；

基于所述样本源语言文本中各分词的排列顺序，拼接所述非实体的文本表示以及所述各实体的实体表示，得到所述第二序列。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述多模态机器翻译方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述多模态机器翻译方法的步骤。