[发明专利]一种中心排序损失及弱监督物体定位的细粒度检索方法

摘要

一种中心排序损失及弱监督物体定位的细粒度检索方法，涉及中心排序损失和弱监督物体定位的融合。给定标好的细粒度图像‑标签对集合，将图像‑标签对集合划分为训练照片样本集、训练画像样本集和测试照片样本集；利用训练集合训练一个神经网络；当计算好损失函数后，为了对神经网络进行参数更新；对神经网络进行训练之后，通过CNN高层语义信息的物体粗定位，然后沿着第三个维度方向进行加和操作，最后大于平均值的位置置为1，小于平均值的位置置为0；根据得到的图像蒙版，当图像蒙版值为1时，定义这个位置所包含的物体为前景物体，反之，当值为0时，定义这个位置背景；对于给定的物体定位分割，重新抽取更加具有区分度的特征。

主权项

1.一种中心排序损失及弱监督物体定位的细粒度检索方法，其特征在于包括以下步骤：1)给定标好的细粒度图像‑标签对集合，将图像‑标签对集合划分为训练照片样本集、训练画像样本集和测试照片样本集；2)利用训练集合训练一个神经网络；3)对神经网络利用如下公式计算对应特征的梯度，进行参数更新：其中，f_i为图像输入神经网络之后的特征，α_i为每一个类别的中心，在一个数据集中，假设有N张图像，在N张图像当中，对应的有M个类别，那么针对每一个类别，有张图像，每一个类别的中心α为这些类别特征的平均值；4)步骤2)与步骤3)对神经网络进行训练之后，通过CNN高层语义信息的物体粗定位，对于大小为m×n的图像I，抽取最后一个卷积层特征X(h×w×c)，再沿着第三个维度方向进行加和操作其数学上的定义为为φ(X)＝A，然后对于A，计算A的平均值a，大于平均值的位置置为1，小于平均值的位置置为0，最后的物体蒙版M为：其中，M_i,j为M具体的h×w个坐标系中对应的点，最后，通过M从h×w差值到m×n上，来获得原图像大小级别的图像定位；5)根据步骤4)得到的图像蒙版，当图像蒙版值为1时，定义这个位置所包含的物体为前景物体，反之，当值为0时，定义这个位置背景；然后利用两个混合高斯模型对前景的物体和背景分别进行建模，每一个混合高斯模型包含K＝5个部分，对于一个图像I，定义θ_f为前景物体模型，θ_b为背景模型，y_p为具体像素点的标签p，并且改点的RGB像素值为v_p；目标函数为：E(y_p,θ)＝(1‑y_p)log(p(v_p；θ_b))+y_plog(p(v_p；θ_f))其中，Y为每一个像素点的标签，E(y_p,y_q)为像素点之间的成对损失，希望临近之间的像素点尽可能的接近；基于CNN高层语义信息抽取的粗糙定位之后，当前步骤中的公式会学习一个对于前景物体的分布，最后，通过该分布来获得最后的物体定位图像；6)对于给定的物体定位分割，重新抽取更加具有区分度的特征如下：其中，M为步骤4)中提到的蒙版，并且经过了步骤5)的到的物体的精确分割，Δ_i,j为一个卷积神经网络的特征在具体位置下卷积特征的感知野；当特征的感知野与物体分割的重叠部分大于某个阈值时，选择该特征作为有效特征；最后利用全局平均池化以及全局最大池化对选择的特征做聚合操作，从而利用该特征进行最后的检索。