[发明专利]一种基于DETR的端到端的图像描述方法

权利要求书

1.一种基于DETR的端到端的图像描述方法，其特征在于，步骤如下:

步骤1：获取数据集以及训练需要的DETR权重；

步骤2：构建基于DETR的图像描述模型；

所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器、目标特征解码器、特征融合解码器和文本生成器；

步骤3：通过构建的基于DETR的图像描述模型输出预测单词；

步骤4：通过设定的训练策略对基于DETR的图像描述模型进行训练；

步骤5：通过训练好的基于DETR的图像描述模型完成图像描述。

2.根据权利要求1所示的一种基于DETR的端到端的图像描述方法，其特征在于，步骤1具体方法如下：

所述的数据集采用COCO2014数据集，它每条数据包含一张图片和五条人工标注的句子，下载Facebook开发的DETR模型权重，使用resnet101实现版本。

3.根据权利要求2所示的一种基于DETR的端到端的图像描述方法，其特征在于，步骤2具体方法如下：

所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器、目标特征解码器、特征融合解码器和文本生成器；

所述的骨干网络采用ResNet101卷积神经网络；所述的网格特征编码器为一个Transformer Encoder；所述的目标特征解码器为一个Transformer Decoder；

所述的特征融合解码器基于Transformer Decoder改进，相比Transformer Decoder，将原来的MHA改为两个并联的注意力模块，分别是一个带有位置编码目标MHA和一个不带位置编码的网格MHA，除此之外在这两个注意力模块后串联一个特征融合模块；

所述的带有位置编码目标MHA是指，在传统attention模块的Q、K点积的热力图上加上相对位置关系矩阵R；

所述的特征融合模块是一个单层全连接神经网络；

所述的文本生成器：包含一个带有softmax激活函数的MLP网络和一个单词字典，用来将特征融合解码器的输出结果转化为每一个时间步骤的单词概率分布，并将这个概率分布转化为词典中的单词id；最后输出该单词id对应的单词字符串，即为图像对应的描述。