[发明专利]一种基于图像描述生成的多模态机器翻译数据增强方法

摘要

本发明公开一种基于图像描述生成的多模态机器翻译数据增强方法，其步骤为：用预训练好的图像编码信息和对应的图像描述，训练基于注意力机制的图像描述生成模型；用训练好的图像描述生成模型，对已有的多模态训练数据中的图片进行编码和解码，生成对应的源语图像描述文本；将生成的源语图像描述文本翻译成目标语，构造伪数据；将构造的伪数据添加进多模态训练数据中，将多模态训练数据中的图片信息与源语描述信息进行融合，送入多模态机器翻译模型中，采用自回归的方式，生成辅以图像上下文信息的目标语译文。本发明丰富了伪数据的多样性，能从知识精炼中获得性能的提升，相较于普通的采用随即替换等方式的数据增强方法，有着较大的优势。