[发明专利]基于Transformer结构的图像描述生成模型方法、装置和计算机设备

权利要求书

1.一种基于Transformer结构的图像描述生成模型方法，其特征在于，包括：

提取图像特征，其中，所述图像特征包括显著区域特征和视觉常识特征；

将所述显著区域特征和视觉常识特征分层输入到Transformer编码器中，以生成自适应融合的编码特征，其中，Transformer编码器包括多个分层，多个所述分层根据所述显著区域特征和视觉常识特征生成自适应常识门，所述自适应常识门用于对所述显著区域特征和所述视觉常识特征进行自适应融合；

将所述编码特征输入至Transformer解码器中完成训练，以搭建图像描述生成模型；

基于MSCOCO数据集对所述图像描述生成模型进行测试，以完成图像到语句的转化。

2.根据权利要求1所述的基于Transformer结构的图像描述生成模型方法，其特征在于，所述提取图像特征的步骤，包括：

基于Faster R-CNN构建图像的区域建议网络；

将所述区域建议网络引入深度神经网络模型中，得到基于深度神经网络的组合图像特征，将所述组合图像特征作为显著区域特征；

基于VCR-CNN提取图像边界框的坐标，其中，坐标包括多个；

将多个所述坐标输入卷积神经网络模型中进行训练，训练完成后得到视觉常识特征。

3.根据权利要求2所述的基于Transformer结构的图像描述生成模型方法，其特征在于，所述将所述区域建议网络引入深度神经网络模型中，得到基于深度神经网络的组合图像特征的步骤，包括：

基于所述区域建议网络获取多个不同批次的多个第一图像；

对每一个批次的每一个所述第一图像进行短边缩放，得到每一个批次的短边缩放的多个第二图像；

将每一个批次的多个所述第二图像传入卷积神经网络层中以对多个所述第二图像进行卷积和池化，以生成每一个批次的多个第二图像的组合图像特征。

4.根据权利要求1所述的基于Transformer结构的图像描述生成模型方法，其特征在于，所述将所述显著区域特征和视觉常识特征分层输入到Transformer编码器中，以生成自适应融合的编码特征的步骤，包括：

对所述显著区域特征和所述视觉常识特征进行拼接，得到拼接融合特征；

根据所述拼接融合特征对图像模态间和模态内的常识性关系进行建模，得到ACG融合模型；

将所述拼接融合特征输入到所述ACG融合模型中进行训练，得到ACG输出特征；

将所述ACG输出特征分层输入到自注意力块中进行融合，得到多个层次的融合编码向量，其中，所述自注意力块包括多个，多个所述自注意力块进行模态内和跨模态的分层交互；

对所述融合编码向量进行残差和归一化处理，得到自适应融合的编码特征。

5.根据权利要求4所述的基于Transformer结构的图像描述生成模型方法，其特征在于，所述对所述显著区域特征和所述视觉常识特征进行拼接，得到拼接融合特征的步骤，包括：

基于所述视觉常识特征依次获取每一个所述视觉常识特征对应的视觉特征向量；

基于所述显著区域特征依次获取每一个所述显著区域特征对应的显著区域向量；

根据所述视觉特征向量与所述显著区域向量对所述显著区域特征和所述视觉常识特征进行拼接，其中，拼接公式为：

vc_i＝[v_i，c_i]；

VC＝{vc₁，vc₂，…，vc_N}；

其中，所述v_i∈R^d，c_i∈R^d，vc_i∈R^2d，v_i∈R^d表示d维的第i个视觉特征向量，c_i∈R^d表示d维的第i个显著区域向量，vc_i∈R^2d表示2d维的显著区域特征和视觉常识特征的拼接向量；所述vc_i表示第i个显著区域特征和第i个视觉常识特征拼接；VC表示拼接融合特征。