[发明专利]基于多重注意力机制的车辆图像细粒度检索方法及装置

权利要求书

1.一种基于多重注意力机制的车辆图像细粒度检索方法，其特征在于，包括：

将车辆参照图像输入到训练后的多重注意力卷积神经网络模型中，对所述车辆参照图像中的目标对象进行自动定位，并提取所述车辆参照图像中的目标对象的特征向量；

将待识别车辆图像输入到训练后的所述多重注意力卷积神经网络模型中，对所述待识别车辆图像中的目标对象进行自动定位，并提取所述待识别车辆图像中的目标对象的特征向量；

计算所述车辆参照图像中的目标对象的特征向量与所述待识别车辆图像中的目标对象的特征向量的相似度；

根据所述相似度，得到所述待识别车辆图像中包含与所述车辆参照图像中的目标对象同类别的目标对象的待识别车辆图像，作为所述车辆参照图像的检索图像。

2.根据权利要求1所述的基于多重注意力机制的车辆图像细粒度检索方法，其特征在于，所述将车辆参照图像输入到训练后的多重注意力卷积神经网络模型中，对所述车辆参照图像中的目标对象进行自动定位，并提取所述车辆参照图像中的目标对象的特征向量之前，还包括：

构建多重注意力卷积神经网络模型，并对构建的多重注意力卷积神经网络模型进行训练。

3.根据权利要求1所述的基于多重注意力机制的车辆图像细粒度检索方法，其特征在于，所述将车辆参照图像输入到训练后的多重注意力卷积神经网络模型中，对所述车辆参照图像中的目标对象进行自动定位，并提取所述车辆参照图像中的目标对象的特征向量，包括：

生成特征映射图；所述生成特征映射图包括：利用卷积操作在整幅所述车辆参照图像上为每类目标对象生成k×k个位置敏感分数图，所述k×k个位置敏感分数图用于描述所述每类目标对象对应位置的空间网格；每个位置敏感分数图有c个通道输出，用于代表c-1类物体外加一个图像背景；

基于每类目标对象的所述k×k个位置敏感分数图，提取每类目标对象的特征向量。

4.根据权利要求3所述的基于多重注意力机制的车辆图像细粒度检索方法，其特征在于，所述利用卷积操作在整幅所述车辆参照图像上为每类目标对象生成k×k个位置敏感分数图，包括：

对于一个w×h大小的候选目标框，将所述候选目标框划分为k×k个子区域，则每个子区域为w×h/k²大小，对于任意一个子区域bin(i,j),0≤i,j≤k–1，定义一个位置敏感池化操作：

其中，r_c(i,j|Θ)是子区域bin(i,j)对c-1类物体外加一个图像背景的池化响应，z_i,j,c是子区域bin(i,j)所对应的位置敏感分数图，(x₀,y₀)代表目标候选框左上角的坐标，n是子区域bin(i,j)中的像素数，Θ代表网络的所有学习得到的参数；

根据所述子区域bin(i,j)对c-1类物体外加一个图像背景的池化响应，得到每类目标对象的k×k个位置敏感分数图。

5.根据权利要求1所述的基于多重注意力机制的车辆图像细粒度检索方法，其特征在于，所述计算所述车辆参照图像中的目标对象的特征向量与所述待识别车辆图像中的目标对象的特征向量的相似度，包括：

所述车辆参照图像中的目标对象的特征向量与所述待识别车辆图像中的目标对象的特征向量的相似度的计算公式为：

其中，为所述车辆参照图像中的目标对象的特征向量，为所述车辆参照图像中的目标对象的特征向量，‖x‖为的范数，‖y‖为的范数，θ为和之间的夹角。