[发明专利]一种基于知识图谱的小目标检测方法、设备及存储介质

说明书

本发明提出一种基于知识图谱的小目标检测方法、设备及存储介质。低分辨率的小目标可视化信息少，难以提取到具有鉴别力的特征，并且极易受到环境因素的干扰，进而导致了检测模型难以精准定位和识别小目标。本发明基于CN‑Probase中文通用概念知识图谱构建了目标上下文知识图谱，通过改进YOLOv3网络使得目标检测模型可以充分利用知识图谱中的先验信息，获取更多上下文特征，从而从而在保证检测速度的同时有效提高了小目标检测精度。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于知识图谱的小目标检测方法、设备及存储介质。

背景技术

在目标检测算法中，小目标相对于大/中尺度尺寸目标都存在分辨率低的问题。低分辨率的小目标可视化信息少，难以提取到具有鉴别力的特征，并且极易受到环境因素的干扰，进而导致了检测模型难以精准定位和识别小目标，目前小目标检测算法有如下几种：

1.基于多尺度学习的小目标检测算法

小目标与常规目标相比可利用的像素较少，难以提取到较好的特征，而且随着网络层数的增加，小目标的特征信息与位置信息也逐渐丢失，难以被网络检测。多尺度特征融合同时考虑了浅层的表征信息和深层的语义信息，有利于小目标的特征提取，能够有效地提升小目标检测性能。FPN是目前最流行的多尺度网络，它引入了一种自底向上、自顶向下的网络结构，通过将相邻层的特征融合以达到特征增强的目的。同时，多尺度学习方法也增加了额外的计算量，并且在特征融合的过程中难以避免干扰噪声的影响。

2.基于上下文学习的小目标检测算法

通过对上下文进行适当的建模可以提升目标检测性能，尤其是对于小目标这种外观特征不明显的目标。基于上下文学习的目标检测利用了目标区域周围的背景特征或者全局的场景特征，充分利用图像中与目标相关的信息，能够有效提升小目标检测的性能。但目前的研究方法中没有考虑到场景中上下文信息可能匮乏的问题。

3.基于生成对抗学习的小目标检测算法

生成对抗学习的方法旨在通过将低分辨率小目标的特征映射成与高分辨率目标等价的特征，从而达到与尺寸较大目标同等的检测性能。通过结合生成对抗网络来提高小目标的分辨率，缩小小目标与大/中尺度目标之间的特征差异，增强小目标的特征表达，进而提高小目标检测的性能。但是由于GAN模型难以训练，不易在生成器和鉴别器之间取得好的平衡，且训练到一定程度后对于性能的提升有限。

发明内容

针对上述问题，本发明第一方面提供了一种基于知识图谱的小目标检测方法，并包括以下步骤：

S1，基于CN-Probase中文通用概念知识图谱与ImageNet图像数据集构建目标上下文知识图谱；

S2，在目标上下文知识图谱中，根据训练集小目标的类别信息与文本描述查找关联实体，获取用以辅助检测的显式上下文信息；

S3，基于YOLOv3网络模型进行改进，利用步骤S2获取的显式上下文信息搭建小目标检测模型；

S4，将小目标图像输入步骤S3搭建的小目标检测模型中，对图像进行检测处理并输出检测结果。

在一种可能的设计中，所述步骤S1中基于CN-Probase中文通用概念知识图谱与ImageNet图像数据集构建目标上下文知识图谱的具体过程为：

S11，对文本格式的ImageNet数据集类别信息采用BiLSTM+CRF算法进行命名实体识别；首先使用Skip-gram模型将单词映射为词向量，之后通过BiLSTM层得到每个单词对于每个标签的得分概率，最后将得分概率输入CRF层，学习标签间的顺序依赖信息，得到命名实体识别结果；