[发明专利]一种基于视觉描述语句的图像检索方法

权利要求书

1.一种基于视觉描述语句的图像检索方法，其特征在于，所述方法包括以下步骤：

基于图卷积深度学习网络，构建视觉知识图谱表征中节点与边的信息传递模式，实现各语义单元特征的聚合与更新；

结合注意力机制，采用多层级长短时记忆网络对图谱中聚合与更新后的各语义单元特征进行编码用于图像描述语句的生成；

在强化学习的框架下，利用CIDEr分数和图谱相似度，设计基于图像描述语句的奖惩函数，并用于“图像-图谱”过程、“图谱-语句”过程以及“图像-图谱-语句”过程的反馈调节与优化，获取图像更细粒度的视觉描述语句并进行检索，输出与查询图像对应的目标检索图像。

2.根据权利要求1所述的一种基于视觉描述语句的图像检索方法，其特征在于，所述奖惩函数具体为：

其中，ω_c和ω_s为可训练的融合权重；表示图像的预测描述句子，为预测描述句子的CIDEr得分；s_i＝{s₁,s₂,s₃}为表征图谱相似度的3个相似性分数，为3个奖惩函数，其中用于“图像-图谱-语句”过程的优化，用于“图像-图谱”过程的单独优化，用于“图谱-语句”过程的单独优化。

3.根据权利要求1或2所述的一种基于视觉描述语句的图像检索方法，其特征在于，所述方法还包括：

将奖惩函数作为奖励机制，使用强化学习中策略梯度来更新网络参数，损失函数L_RL(θ)关于参数θ的梯度计算式如下：

其中，为期望奖励目标函数，为上述定义的奖惩函数，为分值函数。

4.根据权利要求1或2所述的一种基于视觉描述语句的图像检索方法，其特征在于，所述方法还包括：从输入图像中检测视觉实体与视觉关系，构建图像对应的视觉知识图谱表征。