[发明专利]一种图像检索的方法以及相关装置

权利要求书

1.一种图像检索的方法，其特征在于，包括：

获取图像库中的训练图像对应的图像特征和文本库中的训练文本对应的文本特征，所述图像特征包括图像整体特征和图像区域特征，所述文本特征包括文本整体特征和文本单词特征；

基于所述图像整体特征和所述文本整体特征确定全局相似度特征；

基于所述图像区域特征和所述文本单词特征确定局部相似度特征；

根据所述全局相似度特征和所述局部相似度特征构建相似度节点，以在所述相似度节点之间传递相似度信息，所述相似度信息用于对所述相似度节点进行更新，所述相似度节点之间相互关联；

根据注意力机制确定所述全局相似度特征和所述局部相似度特征对应的权重信息，所述权重信息用于对所述相似度节点进行过滤，所述权重信息基于语义信息设定，所述语义信息与所述训练文本相对应；

基于更新后的所述相似度节点和过滤后的所述相似度节点确定目标相似度值，以响应于目标图像的输入确定对应的文本检索结果。

2.根据权利要求1所述的方法，其特征在于，所述获取图像库中的训练图像对应的图像特征和文本库中的训练文本对应的文本特征，包括：

针对所述图像库中的每个所述训练图像获取多个目标检测框，所述目标检测框用于指示所述训练图像中的图像区域特征；

基于所述图像区域特征进行归一化，以确定所述图像整体特征；

将所述文本库中的每个所述训练文本进行分词处理，以得到多个训练单词；

根据所述训练单词进行编码，以得到文本单词特征；

基于所述文本单词特征进行归一化，以得到所述文本整体特征。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取预设特征维度；

基于所述预设特征维度对所述图像区域特征和所述文本单词特征进行调整，以使得所述图像区域特征的特征维度和所述文本单词特征的特征维度相同。

4.根据权利要求1所述的方法，其特征在于，所述基于所述图像整体特征和所述文本整体特征确定全局相似度特征，包括：

基于所述图像整体特征和所述文本整体特征进行矢量平方差运算，以得到全局相似度信息；

将所述全局相似度信息映射到预设全局维度，并归一化得到所述全局相似度特征。

5.根据权利要求1所述的方法，其特征在于，所述基于所述图像区域特征和所述文本单词特征确定局部相似度特征，包括：

基于交叉注意力机制确定与所述文本单词特征相关联的所述图像区域特征，所述交叉注意力机制基于余弦距离的相似度设定；

基于所述余弦距离对关联的所述图像区域特征进行加权，以得到所述文本单词特征对应的文本整体特征；

基于所述文本单词特征对应的文本整体特征进行矢量平方差运算和归一化计算，以得到所述局部相似度特征。

6.根据权利要求1所述的方法，其特征在于，所述根据所述全局相似度特征和所述局部相似度特征构建相似度节点，以在所述相似度节点之间传递相似度信息，包括：

根据所述全局相似度特征和所述局部相似度特征构建所述相似度节点；

分别计算所述相似度节点之间的所述相似度信息，所述相似度信息包括检索特征和键值特征；

基于所述检索特征和所述键值特征确定所述相似度节点之间的距离信息；

基于所述距离信息对所述相似度节点进行更新。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

确定迭代信息，所述迭代信息包括迭代更新次数；

基于所述迭代更新次数对所述相似度节点进行迭代更新。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

确定当前迭代更新的目标节点；

基于所述目标节点的模态信息确定所述相似度节点的更新次序，所述模态信息用于指示所述目标节点的数据类型；

根据所述更新次序对所述相似度节点进行迭代更新。