[发明专利]基于交互式Transformer的图像-多语言字幕转换方法

权利要求书

1.一种基于交互式Transformer的图像-多语言字幕转换方法，其特征是，按如下步骤进行：

步骤1、构建图像-多语言字幕数据集D＝{I,Y,Z}；其中，I表示图像集，Y表示由所述图像集I中每张图像所对应的若干个中文描述语句构成的中文字幕集合；Z表示由所述图像集I中每张图像所对应的若干个英文描述语句构成的英文字幕集合；

步骤2、获取图像的VinVL特征表示；

采用VinVL模型对图像集I中的图像i进行处理，得到图像i的VinVL特征表示x_i；

步骤3、获取文本的特征表示；

步骤3.1、基于中文字幕集合Y和英文字幕集合Z构建包含M₁个词汇量的中文字典以及M₂个词汇量的英文字典；

步骤3.2、计算中文字幕集合Y中每个中文描述语句的文本特征表示，令图像i所对应的任意一个中文描述语句y_i的中文文本特征表示记为其中，表示中文描述语句y_i中的第k个中文词向量；K表示词向量总数；

计算英文描述语句集合Z中每个英文描述语句的文本特征表示，令图像i所对应的任意一个英文描述语句z_i的英文文本特征表示记为其中，表示英文描述语句z_i中的第k个英文词向量；

步骤4、构建图像-多语言字幕模型，包括：编码器、解码器和生成器；

步骤4.1、所述编码器由L₁个相同的编码模块依次连接而成，每个编码模块均由多头自注意网络和全连接前馈网络组成，且每个编码模块后均连接有残差操作层和正则化操作层；

所述图像i的VinVL特征表示x_i输入所述编码器中，并经过依次经过L₁个编码模块的处理后输出图像i的上下文区域特征

步骤4.2、所述解码器由L₂个相同的解码模块依次连接而成，且每个解码模块均由交互模块、关系模块和前馈网络组成；所述交互模块由一个自注意模块、一个关系注意模块和一个融合模块组成；

步骤4.2.1、使用位置编码表示序列的顺序；

对第k个中文词向量和第k个英文词向量进行位置编码，分别得到第k个中文嵌入特征和第k个英文嵌入特征从而得到图像i所对应的任意一个中文描述语句的中文嵌入特征向量和图像i所对应的任意一个英文描述语句的英文嵌入特征向量

步骤4.2.2、将中文嵌入特征向量和英文嵌入特征向量拼接为向量后输入第一个解码模块中的交互模块进行交互学习，分别由自注意模块输出中文的内部表示H_i^cn-cn和英文的内部表示H_i^en-en、由关系注意模块输出中-英的交互表示H_i^cn-en和英-中的交互表示的H_i^en-cn，再将中文的内部表示H_i^cn-cn、英文的内部表示H_i^en-en和中-英的交互表示H_i^cn-en、英-中的交互表示H_i^en-cn输入融合模块中，并利用式(1)和式(2)的融合函数进行融合，从而得到图像i所对应的任意一个中、英文描述语句的高级表示H_i^cn、H_i^en：

H_i^en＝H_i^en-en+λ₁×relu(H_i^en-cn) (1)

H_i^cn＝H_i^cn-cn+λ₂×relu(H_i^cn-en) (2)

式(1)和式(2)中，λ₁，λ₂表示两个控制参数；relu表示激活函数；

步骤4.2.3、由中、英文描述语句的高级表示H_i^cn、H_i^en拼接为高级表示[H_i^cn，H_i^en]，并将图像i的上下文区域特征一起输入关系模块中，并由关系模块输出图像i及其对应的中英文描述语句的关系注意特征I_i-Y_iZ_i；

步骤4.2.4、将关系注意特征I_i-Y_iZ_i输入前馈神经网络，并输出解码特征Decoder_i,1；

步骤4.2.5、将第一个解码模块输出解码特征Decoder_i,1作为下一个解码模块的输入，并依次经过L₂个解码模块的处理后，由第L₂个解码模块的前馈神经网络输出最终的解码特征Decoder_i,L2；

步骤4.3、生成对图像i的中、英文自然语言描述句子：

步骤4.3.1、将最终的解码特征Decoder_i,L2中包含的图像i的中、英文语言描述的预测信息按维度拆为中文预测信息cn-Decoder_i,L2和英文预测信息en-Decoder_i,L2；

将所述中文预测信息cn-Decoder_i,L2输入中文句子生成器，生成中文描述句子的预测特征cn_i；

将所述英文预测信息en-Decoder_i,L2输入英文句子生成器，生成英文描述句子的预测特征en_i；

步骤4.3.2、在中、英字典中查找中、英文描述句子的预测特征cn_i，en_i所对应的单词，从而生成中、英文自然语言描述句子y_i′,z_i′；

步骤5、优化图像-多语言字幕模型：

步骤5.1、在第一训练阶段时，基于所述图像-多语言字幕数据集D，通过最小化如式(1)所示的交叉熵损失loss来优化图像-多语言字幕模型：

式(3)中，θ表示学习参数；

步骤5.2、在第二训练阶段时，基于式(6)所示的总梯度利用self-critical训练方法对优化后的图像-多语言字幕模型进行微调，从而得到最佳图像-多语言字幕模型：

式(4)～式(6)中，表示中文自然语言描述句子y′的梯度；表示英文自然语言描述句子z′的梯度；θ表示学习参数，R表示CIDEr函数，b表示基础分数，N表示采样总数，y_i′表示图像i的中文自然语言描述句子，z′_n表示I_n的英文自然语言描述句子；

步骤5.3、以最佳图像-多语言字幕模型实现对输入的任意图像输出其对应的中、英文语言字幕。