[发明专利]一种基于迁移学习的弱监督目标检测方法及系统

权利要求书

1.一种基于迁移学习的弱监督目标检测方法，其特征在于，包括：

S11：对输入的强监督及弱监督的图像，使用深度卷积神经网络提取图像的特征，利用区域建议网络提取图像中的候选框，得到不同候选区域的视觉特征；

S12：对强监督及弱监督数据集中的类别文本进行特征提取，建立语义图，并利用图卷积网络进行优化，得到所有类别文本的语义特征；

S13：使用双监督的平均教师网络结构，包括：强监督分类及边界回归学生网络、弱监督多示例学习学生网络以及分类及边界回归教师网络，利用所述S11得到的视觉特征以及S12优化后的语义特征，聚合强监督及弱监督数据集中的边界框信息和分类信息，从而对候选框进行边界框的回归和分类；其中，以强监督学生网络回归头中权重的指数滑动平均值作为教师网络回归头的权重；将弱监督学生网络分类流中权重的指数滑动平均值以及强监督学生网络中重叠类别的权重作为教师网络分类头的权重；

S12中，具体建图过程如下：

对于强监督数据集和弱监督数据集，利用类别之间的共现关系，分别建立一个数据集内部的图；以强监督数据集为例，转移矩阵为：

(P_f)_ij＝M_ij/M_i,

其中C_f为强监督数据集的类别数量，M_i为包含第i个类别标签的图像的数量，M_ij为同时包含第i个类别和第j个类别的图像的数量；将转移矩阵利用一个阈值τ进行二值化得到数据集内部图的邻接矩阵为：

对弱监督数据集也构造一个图的邻接矩阵其中C_w为弱监督数据集中的类别数量；

在强监督数据集与弱监督数据集之间，通过相似关系和人工设计相连的边，通过语义特征之间的相似关系构造一个数据集之间的二部图边的权重由特征之间的余弦相似度计算得到，强监督数据集第i个节点与弱监督数据集第j个节点之间边为：

其中sim(·,·)为余弦相似度，和分别为完全监督图中第i个节点和弱监督图中第j个节点的语义特征；对于人工设计的数据集之间的边，考虑了二值边权重来捕捉类别之间的逻辑关系；当相应图中的两个节点具有子类或包含关系时，相应的边权重设置为1，否则设置为0；

建立语义图后，对语义特征利用图卷积网络进行优化：首先使用维基语料库上预先训练好的word2vec来初始化每个类别的语义特征，和分别为强监督和弱监督数据集所有类别的语义特征，其中C_f为强监督数据集的类别数量，C_w为弱监督数据集的类别数量，k为word2vec的维度；使用两层图卷积网络对特征进行优化，得到隐层特征：

对隐层特征根据数据集之间的图进行特征聚合：

其中为数据集之间的图，为针对每个数据集的可训练权重矩阵，σ为一个激活函数，输出两个数据集的最终的语义特征和其中d与视觉特征维度相同。

2.根据权利要求1所述的基于迁移学习的弱监督目标检测方法，其特征在于，所述区域建议网络包括：第一分支以及第二分支；

所述第一分支用于分类候选框是否为前景物体；

所述第二分支用于计算针对原图坐标的偏移量。

3.根据权利要求1所述的基于迁移学习的弱监督目标检测方法，其特征在于，所述S12中的建立语义图包括：建立数据集内部的类别图以及数据集之间的类别图；其中：

所述数据集内部的类别图的建立通过数据集中的类别在图像上的共现关系得到；

所述数据集之间的类别图的建立通过强监督与弱监督数据集类别之间的关系得到。

4.根据权利要求1所述的基于迁移学习的弱监督目标检测方法，其特征在于，所述S12中利用图卷积网络进行优化，得到所有类别文本的语义特征，包括：

强监督和弱监督数据类别的初始特征向量分别为和其中C_f为强监督数据集中的类别数量，k为word2vec的维度；C_w为弱监督数据集的类别数量；

利用语义图经过图卷积网络进行数据集内部和数据集之间的类别语义特征更新，得到优化后的语义特征和其中d为特征维度，与视觉特征的维度相同。