[发明专利]一种半监督的显著对象检测方法

权利要求书

1.一种半监督的显著对象检测方法，基于改进的faster rcnn的RPN网络模型，其特征在于：所述的RPN网络模型包括对象检测模块和显著预测模块；所述的对象检测模块和显著预测模块的输入端共享一个共享卷积层；

所述的显著预测模块包括一个第一卷积层、一个sigmoid层和三个转置卷积层，共享卷积层的输出端经过第一卷积层输出特征谱，所述的特征谱经过sigmoid层得到一张初始显著预测谱s，所述的初始显著预测谱s经过三个转置卷积层的上采样后输出一张显著预测谱sal；在训练阶段，所述的显著预测模块还包括一个在转置卷积层之后的Euclidean损失层；

所述的对象检测模块包括一个第二卷积层、一个ReLu层和一个全连接层，共享卷积层的输出端顺次与第二卷积层和ReLu层连接，ReLu层输出的特征谱F＝{f₁,f₂,...,f_n}与初始显著预测谱s进行func函数操作后得到显著特征谱FS＝{fs₁,fs₂,...,fs_n}，所述的func函数表示两个矩阵对应元素相乘；全连接层从显著特征谱上提取预测框特征，进行预测框的位置预测和类别预测；

所述的方法包括以下步骤：

S1：利用对象框信息，对图片中对象框所在区域进行初始分割，并将分割结果保存，作为对象的初始ground truth即参考标准；

S2：设置对象检测模块的检测类别数和网络的初始学习率；

S3：训练所述的网络，使用随机梯度下降算法优化网络损失L并更新网络，其中学习率每迭代N次进行更新；网络损失L包括Euclidean损失层给出的损失；

S4：对步骤S3训练完的网络，采用显著预测模块及前面的共享卷积层作为测试网络，对训练图片进行显著对象预测；

S5：对训练图片进行超像素分割，利用超像素分割结果对步骤S4得到的显著预测谱sal进行超像素级的平滑，并对平滑后的谱进行二值化操作，最终得到二值化的对象前景谱；

S6：利用步骤S5得到的二值化的对象前景谱作为ground truth，替代步骤S1中使用分割方法得到的前景对象区域，并将学习率设置为步骤S3中网络训练结束时学习率的值；

S7：重复步骤S3～S6，直到网络训练达到满意效果。

2.根据权利要求1所述的一种半监督的显著对象检测方法，其特征在于：步骤S5中二值化操作为：将高于阈值σ的像素置为1，低于阈值σ的像素置为0；得到的二值化的对象前景谱中，对象区域像素为1，背景区域像素为0。

3.根据权利要求1所述的一种半监督的显著对象检测方法，其特征在于：步骤S3中所述的网络损失L的公式为：

式中，前两项表示faster rcnn中RPN网络的两个损失，表示预测框置信度损失，p_i表示第i个预测框包含对象的置信度打分，表示真实类别，表示预测框与真实框间的位置损失，t_i表示第i个预测框的位置坐标，表示真实框的位置坐标，α是权重系数；第三项为显著预测损失，由Euclidean损失层给出，β是权重系数；其中：

式中，gt是一个二值谱，表示图像对象的ground truth；在初始阶段，gt为对图像对象框区域分割得到的二值谱，N为gt像素的个数。