[发明专利]一种基于语义信息候选框的改进弱监督目标检测方法

权利要求书

1.一种基于语义信息候选框的改进弱监督目标检测方法，其特征在于，包括以下步骤：

S1：输入待处理图像数据，并采用包括随机水平翻转在内的预处理步骤；

S2：设计组合主干网络，用于融合来自掩膜和非掩膜的网络分支的特征，非掩膜的网络分支任务是粗略地找到局部有显著区别的目标部分并对该目标进行定位，而掩膜分支的任务是屏蔽显著特征，并且保留不明显特征在网络中的响应；

S3：设计基于多示例选择算法的多分支检测头网络，基于多示例选择算法的多分支检测头网络为每个目标类别生成更多具有较高置信度的伪真实目标框，从而令网络模型得到更多与目标相关的候选框，进而得到更合理的训练。；

S4：设计目标语义候选框，通过对多分支检测头网络模型生成的目标语义信息进行循环掩膜来从而生成更合理的目标候选框；

S5：在自然数据集上进行检测。

2.根据权利要求1所述的一种基于语义信息候选框的改进弱监督目标检测方法，其特征在于，所述步骤S1输入待处理图像数据，并采用包括随机水平翻转在内的预处理步骤，具体包括以下步骤：

通过随机水平翻转操作，利用五个图像尺度{480、576、688、864、1200}随机调整训练图像的最短边的大小对网络模型进行训练；在测试阶段，通过综合分析每个图像的所有刻度及其水平翻转来计算预测的输出结果。

3.根据权利要求2所述的一种基于语义信息候选框的改进弱监督目标检测方法，其特征在于，所述通过综合分析每个图像的所有刻度及其水平翻转来计算预测的输出结果，具体包括：

每张图像的尺度会按照480、576、688、864和1200的尺度依次进行设置。将5种不同尺度及其水平翻转处理后的图像输入至网络模型，从而获得网络模型中不同尺度及其水平翻转处理后图像的输出结果。最后，将不同尺度图像的预测结果放缩至同一尺度大小下的结果，并使用后处理算法对放缩后的输出结果进行筛选，从而获得最终的预测结果；

通过计算样本的预测结果与真实目标框坐标之间的IoU大小，首先，按照预设阈值(0.5或0.75)确定样本属性。之后，对所有样本根据其分类结果由高至低进行排序。对排序后的样本进行遍历，并对已经遍历的样本按照公式(1)和公式(2)进行准确率Precision及召回率Recall的计算。

其中，TP、FP和FN表示真正例、假正例和假负例；

根据每次遍历得到的Precision及Recall，构建出以Recall为X轴而Precision为Y轴的曲线。最后，通过计算Precision及Recall围成的曲线面积，得到平均精度AP，并通过计算每个类别的AP得到平均精度均值mAP。

4.根据权利要求1所述的一种基于语义信息候选框的改进弱监督目标检测方法，其特征在于，所述S2中，还包括以下步骤：

给定一幅图像，基于像素级和目标语义特征生成候选框，并将其输入空间金字塔池层SPP，从组合主干网络中提取特征和候选框的坐标后，将候选框映射到特征图，以获得感兴趣区域RoI；由于每个RoI都有自己的大小，因此SPP层通过替换位于组合主干网络最后一层的最大池层来获得具有固定大小的RoI；然后，改进检测头网络中的并行全连接层将输出一系列候选框的特征向量。

5.根据权利要求4所述的一种基于语义信息候选框的改进弱监督目标检测方法，其特征在于，所述步骤S2中，划分显著及不明显特征的方法是在通过这两个独立的分支之前，从特征图中提取平均值和最大值；如果某个具体位置的特征值高于阈值，显著特征将被屏蔽，从而使得不明显特征经过组合主干网络后其响应得以增强；此外，有两种方法可以对显著特征进行屏蔽；一种是硬性掩膜方法，另一种是软性屏蔽方法，可分别在公式(3)和公式(4)中显示，

其中，f_i,j表示特定位置的特征值，mean、Max分别表示当前特征图的均值及最大值，和分别采用硬屏蔽和软屏蔽的方法来表示结果，α是一个超参数，用于控制阈值大小。