[发明专利]一种基于多级图像上下文编解码的图像人物行为描述生成方法

权利要求书

1.一种基于多级图像上下文编解码的图像人物行为描述生成方法，其特征在于，包括：

一、训练模型

1)获取包括人物和物体对象的图像，进行标注，得到标注图像；

标注的内容包括人物主体的位置坐标、人物面部位置坐标、物体的位置坐标、物体类别、人物行为描述文本以及物体属性描述文本；

2)利用标注图像中的人物行为描述数据集训练带有区域提出功能的目标检测模型Det，直至能够检测并分类图像中的人物、物体，得到预训练的目标检测模型Det；

使用预训练的目标检测模型Det提取图像中的目标实体特征和每个待描述人物的多级上下文特征；

3)在基于Transformer的双路图像特征融合模型Cap中，利用两组独立的编码器EncoderE和EncodereC分别对图像实体信息和上下文信息进行编码，得到图像实体信息编码E_encode和上下文信息编码C_encode；

4)利用解码器Decoder对所述图像实体信息编码E_encode和上下文信息编码C_encode进行解码，输出行为描述文本Word＝{word₁，word₂，...，word_len}；

其中，word_i为描述文本中第i个词的向量表示；

通过softmax函数计算输出每个位置对应各个词语的概率，将标注内容和输出行为描述文本Word的交叉熵总和作为损失并通过反向传播进行迭代优化，得到训练好的Cap模型；

二、使用模型

对于一张包括一个或多个待描述对象的输入图像，使用预训练的目标检测模型Det检测出人物和物体的位置，并通过RoI Pooling方式从卷积张量中提取各个目标实体特征和每个待描述人物的多级上下文特征，使用训练好的双路图像特征融合模型Cap对局部特征进行编码，得到图像实体信息编码E_encode和上下文信息编码C_encode，再使用解码器Decoder进行解码输出，从而对每个待描述对象的行为输出描述文本。

2.根据权利要求1所述的基于多级图像上下文编解码的图像人物行为描述生成方法，其特点在于，步骤2)中的实体特征包括人物目标、多类物体目标以及人脸目标所对应目标位置的图像特征；

所述上下文特征包括多级上下文区域对应的范围图像特征。

3.根据权利要求2所述的基于多级图像上下文编解码的图像人物行为描述生成方法，其特点在于，所述多级上下文区域包括局部区域、邻近区域和交互区域；

所述局部区域为人物目标区域的扩张范围；

所述邻近区域为包括人物与距离其最近的多个物体的最小范围的扩张；

所述交互区域为包括邻近区域和离描述对象的另一个人物的最小范围的扩张。

4.根据权利要求3所述的基于多级图像上下文编解码的图像人物行为描述生成方法，其特点在于，设单个描述对象矩形区域在图像中左上和右下两点坐标为多个相关物体和位置坐标其中第i个实体的位置坐标距离最近的另一个人物的位置坐标则多级上下文区域如下：

局部区域为单个描述对象的局部扩展区域，计算方式如下：

其中，P为扩张像素范围，在扩张之后将四个坐标值小于0的置为0，大于图像高度/宽度的置为图像高度/宽度；

邻近区域为包括待描述对象和与之相关的图像实体的最小矩形区域，四点坐标如下：

其中：

式中：W为图像宽度，H为图像高度；

交互区域包括邻近区域和距离待描述人物对象最近的另一个人物对象，四点坐标如下：

其中：

。