[发明专利]多模态机器翻译方法、装置、电子设备和存储介质

说明书

本发明提供一种多模态机器翻译方法、装置、电子设备和存储介质，所述方法包括：确定待翻译的源语言文本；将源语言文本输入至翻译模型中，得到翻译模型输出的目标语言文本；翻译模型是基于样本源语言文本和样本目标语言文本，以及与样本源语言文本匹配的样本图像，联合重建模型训练得到的；翻译模型与重建模型共用特征编码层，模型训练过程中特征编码层用于编码第一序列和第二序列，翻译模型基于第一序列的编码进行翻译，重建模型基于第二序列的编码进行重建，第一序列基于样本源语言文本确定，第二序列基于样本源语言文本中的各实体在样本图像中的区域图像和样本源语言文本的非实体确定，提高了质量提升的可解释性并且降低了翻译的复杂度。

技术领域

本发明涉及计算机技术领域，尤其涉及一种多模态机器翻译方法、装置、电子设备和存储介质。

背景技术

多模态机器翻译是指利用文本信息以外的模态信息来帮助文本翻译，如利用图像来帮助提升图像描述的翻译质量。这种做法的前提假设是认为图像相比于单个句子包含着更完整的信息。

一般的多模态机器翻译模型是为了文本语言模态和静态图像模态的多模态环境而设计的，数据形式为一张图片配一句图像描述和图像描述的翻译，所采用的语义融合方式通常可分为以下两类：一类是将视觉信息以整张图片的卷积神经网络全局特征作为待翻译句子的上下文输入到翻译系统，可以作为初始化翻译模型的组件或表现为一个完整的语义作为模型的输入等；另一类方法则是在提取卷积神经网络特征时保留了图像内的相对空间信息的局部特征，从而将所提取的特征输入到翻译模型中时，即可使用注意力机制关注到图像中更细粒度的信息。这两类方法都可以实现翻译质量的提升，然而这些方法在使用视觉信息的过程中使得图像中的信息是如何作用到提升句子翻译质量的变得难以解释，这极大地限制了多模态翻译模型研究的发展。

发明内容

本发明提供一种多模态机器翻译方法、装置、电子设备和存储介质，用以解决现有技术中在翻译性能提升上缺乏可解释性的缺陷，实现提高翻译质量提升的可解释性。

本发明提供一种多模态机器翻译方法，该方法包括：

确定待翻译的源语言文本；

将所述源语言文本输入至翻译模型中，得到所述翻译模型输出的目标语言文本；

所述翻译模型是基于样本源语言文本和样本目标语言文本，以及与所述样本源语言文本匹配的样本图像，联合重建模型训练得到的；

所述翻译模型与所述重建模型共用特征编码层，模型训练过程中所述特征编码层用于编码第一序列和第二序列，所述翻译模型基于所述第一序列的编码进行翻译，所述重建模型基于所述第二序列的编码进行重建，所述第一序列基于所述样本源语言文本确定，所述第二序列基于所述样本源语言文本中的各实体在所述样本图像中的区域图像和所述样本源语言文本的非实体确定。

根据本发明提供的多模态机器翻译方法，所述第二序列是基于如下步骤确定的：

确定所述样本源语言文本中的各实体；

以所述各实体为目标在所述样本图像中进行目标检测，得到各实体的区域图像；

基于所述样本源语言文本中的非实体的文本表示，以及所述各实体的区域图像的图像表示，确定所述第二序列。

根据本发明提供的多模态机器翻译方法，所述基于所述样本源语言文本中的非实体的文本表示，以及所述各实体的区域图像的图像表示，确定所述第二序列，包括：

将所述各实体的区域图像的图像表示映射到与所述文本表示相同的语义空间中，得到各实体的实体表示；

基于所述样本源语言文本中各分词的排列顺序，拼接所述样本源语言文本中的非实体的文本表示，以及所述各实体的实体表示，得到所述第二序列。

根据本发明提供的多模态机器翻译方法，所述翻译模型还包括翻译解码层，所述重建模型还包括重建解码层；