[发明专利]一种基于迁移学习的弱监督目标检测方法及系统

说明书

本发明公开了一种基于迁移学习的弱监督目标检测方法及系统，该方法包括：对输入的强监督及弱监督的图像，使用深度卷积神经网络提取图像的特征，利用区域建议网络提取图像中的候选框，得到不同候选区域的视觉特征；对强监督及弱监督数据集中的类别文本进行特征提取，建立语义图，并利用图卷积网络进行优化，得到所有类别文本的语义特征；使用双监督的平均教师网络结构，包括：强监督分类及边界回归学生网络、弱监督多示例学习学生网络以及分类及边界回归教师网络，利用视觉特征以及优化后的语义特征，聚合强监督及弱监督数据集中的边界框信息和分类信息，从而对候选框进行边界框的回归和分类。通过本发明，提升了弱监督目标检测的效果。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于迁移学习的弱监督目标检测方法及系统。

背景技术

目标检测是计算机视觉最基本的任务之一。在过去的几年，基于深度神经网络的许多方法取得了巨大的成功。然而，大多数方法遵循完强监督的设置，这需要大量高质量的注释，包括对象的精确边界框及其相应的类别标签。这种设置通常需要花费大量的时间和资源来获取这样的注释。为了降低标注代价，提出了弱监督目标检测(WSOD)来训练只带有图像级类别标签的检测模型。然而，缺乏框级监管导致了重大问题，如实例模糊和低质量的候选区域。因此，在强监督目标检测和弱监督目标检测之间仍然存在很大的性能差距。为了缩小这一差距，一些方法考虑从额外的数据中转移知识。主要有两种方法：目标转移法和半监督法。但是有些方法忽略了源数据集中的类别信息，导致分类率下降。有些半监督方法既利用了边界框信息，又利用了类别信息，但通常不能解决数据集之间的域差别，尤其是源数据集和目标数据集之间的类别不一致问题。

现有技术中，申请号为：CN202011454250.4，名称为：基于自适应实例分类器细化的弱监督目标检测方法与系统的中国发明专利，公开了一种基于自适应实例分类器细化的弱监督目标检测方法与系统。该系统利用候选区域的分数分布和空间相似性，可以尽可能多地检测图像中完整的目标，缓解检测器陷入局部最优状态的问题。但是该方法没有考虑类别迁移问题，并且没有考虑类别之间的关系。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于迁移学习的弱监督目标检测方法及系统，利用迁移学习的方式从强监督数据集获取信息，利用强监督数据集中的视觉辨别和语义相关的类别信息来增强弱监督检测器的辨别能力，特别考虑了类别迁移问题，并且考虑了类别之间的关系。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种基于迁移学习的弱监督目标检测方法，其包括：

S11：对输入的强监督及弱监督的图像，使用深度卷积神经网络提取图像的特征，利用区域建议网络提取图像中的候选框，得到不同候选区域的视觉特征；

S12：对强监督及弱监督数据集中的类别文本进行特征提取，建立语义图，并利用图卷积网络进行优化，得到所有类别文本的语义特征；

S13：使用双监督的平均教师网络结构，包括：强监督分类及边界回归学生网络、弱监督多示例学习学生网络以及分类及边界回归教师网络，利用所述S11得到的视觉特征以及S12优化后的语义特征，聚合强监督及弱监督数据集中的边界框信息和分类信息，从而对候选框进行边界框的回归和分类。

较佳地，所述区域建议网络包括：第一分支以及第二分支；

所述第一分支用于分类候选框是否为前景物体；

所述第二分支用于计算针对原图坐标的偏移量。

较佳地，所述S12中的建立语义图包括：建立数据集内部的类别图以及数据集之间的类别图；进一步地，

所述数据集内部的类别图的建立通过数据集中的类别在图像上的共现关系得到；

所述数据集之间的类别图的建立通过强监督与弱监督数据集类别之间的关系得到。