[发明专利]基于多模态机器学习的翻译方法、装置、设备及存储介质

说明书

本申请公开了一种基于多模态机器学习的翻译方法、装置、设备及存储介质，涉及人工智能技术领域。该方法通过多模态图表示层对n个模态的源语言进行语义关联，构建语义关联图，在语义关联图中采用第一连接边连接同一模态的语义节点、且采用第二连接边连接不同模态的语义节点，以语义关联图充分的表示出多个模态的源语言之间的语义关联，继而通过多模态融合编码器对语义关联图中的特征向量进行充分的语义融合，得到编码后的编码特征向量，进而在对编码特征向量进行解码处理后得到更准确的目标语句，该目标语句与多模态的源语言综合表达的内容、情感以及语言环境等更贴近。

技术领域

本申请涉及人工智能技术领域，特别涉及一种基于多模态机器学习的翻译方法、装置、设备及存储介质。

背景技术

机器翻译是利用计算机将一种自然语言转变为另一种自然语言的过程。

在一些应用场景中，可以通过机器翻译模型将多种不同表达形式的源语言翻译成目标语言，即将多模态源语言翻译成目标语言；示例性的，获取图片与对应的英文注释，通过机器翻译模型分别对图片与英文注释进行特征提取，之后对提取到的特征进行融合，进而基于融合后的特征翻译得出图片与英文注释对应的法文注释。

上述翻译方法并不能够充分的构建图片与英文注释之间的语义关联。

发明内容

本申请实施例提供了一种基于多模态机器学习的翻译方法、装置、设备及存储介质，可以在特征编码的过程中对多个模态的源语言进行充分的语义融合，使编码向量解码出的目标语句与源语言所表达的内容与情感等更贴近。所述技术方案如下：

根据本申请的一方面，提供了一种基于多模态机器学习的翻译方法，应用于设置有多模态融合编码器和解码器的计算机设备中，该方法包括：

通过多模态图表示层对n个模态的源语言进行语义关联，构建语义关联图，语义关联图包括n种不同模态的语义节点，用于连接同一模态的语义节点的第一连接边，以及用于连接不同模态的语义节点的第二连接边，n为大于1的正整数；

通过第一词向量层从语义关联图中提取出第一词向量；

通过多模态融合编码器对第一词向量进行编码，得到编码特征向量；

调用解码器对编码特征向量进行解码处理，得到翻译后的目标语句。

根据本申请的另一方面，提供了一种基于多模态机器学习的翻译装置，该装置包括：

语义关联模块，用于通过多模态图表示层对n个模态的源语言进行语义关联，构建语义关联图，语义关联图包括n种不同模态的语义节点，用于连接同一模态的语义节点的第一连接边，以及用于连接不同模态的语义节点的第二连接边，n为大于1的正整数；

特征提取模块，用于通过第一词向量层从语义关联图中提取出第一词向量；

向量编码模块，用于通过多模态融合编码器对第一词向量进行编码，得到编码特征向量；

向量解码模块，用于调用解码器对编码特征向量进行解码处理，得到翻译后的目标语句。

根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：

存储器；

与存储器相连的处理器；

其中，处理器被配置为加载并执行可执行指令以实现如上一个方面及其可选实施例所述的基于多模态机器学习的翻译方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上一个方面及其可选实施例所述的基于多模态机器学习的翻译方法。