[发明专利]一种基于语义信息融合的少样本目标检测方法

说明书

本发明公开了一种基于语义信息融合的少样本目标检测方法，包括：1)获取基础数据，包括支持集类别的图像数据、标签、文本描述语句及验证图像；2)提取支持集图像的视觉特征、文本描述语义特征，并分别构造特征原型；3)在视觉特征原型中嵌入文本语义特征原型；4)构建用于嵌入检测器中的基于度量的分类器头；5)构建基于特征金字塔网络FPN主干的目标检测器；6)获取待检测图像并利用构建好的目标检测器进行目标检测。本发明能够融合图像数据的图像特征及文本描述语义特征，利用图像所包含的不同类型信息解决少样本数据不足的问题，有效提高少样本目标检测的准确率。

技术领域

本发明涉及计算机视觉、深度学习、小样本学习的技术领域，尤其是指一种基于语义信息融合的少样本目标检测方法。

背景技术

近年来，目标检测任务在生产生活中应用越来越广泛，用于解决查找目标位置及判断目标物类别的问题。一方面，产业的转型使工业趋向智能化发展，目标检测技术被广泛地应用于行人检测、大型场景识别和缺陷检测等领域。另一方面，RGB图像中包含着丰富的信息，随着技术的发展，视觉传感器成本也越来越低，且目标检测技术在城市治安监控、无人车巡航、病灶检测等方面发挥着重要作用，此外，现实的场景往往较为复杂，且具有光照、遮挡等干扰因素，同类别物体具有不同的形状给目标检测技术的应用带来了很大挑战，因此对目标检测技术进行更深层级的研究具有重大意义。

目前，目标检测技术研究方面主要采用基于深度学习模型的方法，但还面临如下问题：

(1)深度学习模型往往是由数据驱动，需要基于大量的数据集进行训练，但很多应用领域并没有大量的标注数据，或者数据量大但标注成本很高导致无法实际应用。

(2)在图像采集过程中，由于环境、光照、拍摄视角、遮挡以及物体自身的非刚体形变，导致物体在图像中的表观特征具有很大的多样性，对目标检测算法的鲁棒性提出了很高的要求。

(3)对于场景信息、语义信息等图像中的原有信息的利用不充分，造成一些有效信息的缺失。

(4)目前的算法，为保证检测速度，通常减少特征金字塔的图像以减少计算量，导致小目标在特征图上的不到充分训练。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于语义信息融合的少样本目标检测方法，能够融合图像数据的图像特征及文本描述语义特征，利用图像所包含的不同类型信息解决少样本数据不足的问题，有效提高少样本目标检测的准确率。

为实现上述目的，本发明所提供的技术方案为：一种基于语义信息融合的少样本目标检测方法，包括以下步骤：

1)获取基础数据，包括支持集类别的图像数据、标签、文本描述语句及验证图像；

2)提取支持集图像的视觉特征、文本描述语义特征，并分别构造特征原型；

3)在视觉特征原型中嵌入文本语义特征原型；

4)构建用于嵌入检测器中的基于度量的分类器头；

5)构建基于特征金字塔网络FPN主干的目标检测器；

6)获取待检测图像并利用构建好的目标检测器进行目标检测。

在步骤1)中，支持集类别的图像数据是指从数据集中获得的用作模型支持集的RGB图像，所述标签为图像中物体的位置及所属类别，所述文本描述语句是指从数据集中获得的对应每个类别物体的文本描述语句，所述验证图像是指从数据集中支持集以外随机获取的用于验证检测器效果的RGB图像。

在步骤2)中，所述提取支持集图像中各类别的视觉特征、文本描述语义特征，并分别构造特征原型的步骤包括：

2.1)每个包含N个图像示例的支持集C的集合描述为：