[发明专利]一种基于切片筛选的目标检测推理加速方法及系统

说明书

本发明公开了一种基于切片筛选的目标检测推理加速方法及系统，首先将原图像划分成切片，切片通过概率预测模型得到切片包含目标的概率，再经过设置双阈值选择包含目标的切片和原图送入检测器进行目标检测，在鸟瞰图像中目标通常小且稀疏的场景下，保持高精度的同时实现了推理过程的加速。相比对原图直接检测的方法，本发明的方法准确率有大幅度提升；相比划分切片将所有切片都进行检测的方法，本发明的方法准确率有小幅度提升且推理速度有显著提升。本发明的系统可在通用目标检测数据集上得到的预训练模型基础上，微调到鸟瞰图数据集，不用从头开始训练模型，节省时间成本。本发明的系统可更换不同检测器，在目标小而稀疏的场景中具有通用性。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于切片筛选的目标检测推理加速方法。

背景技术

目标检测是计算机视觉领域的经典任务之一，旨在定位图像中感兴趣的目标物体的位置并识别物体的具体类别。在计算机视觉领域，目标检测的数据样本可以包含现实世界里的任何对象，比如人、动物、汽车、建筑物等。整个任务的训练阶段即输入大量数据样本，训练卷积神经网络提取目标类别相关的高级语义特征并输出物体的位置和类别结果，也就是搜索和求解模型最优参数。当模型参数已经求解出来，使用和部署模型则称为推断阶段。

随着人工智能技术的发展以及数据样本不断扩充，研究人员开始致力于使用深度学习技术来解决遥感、无人机、卫星等高空鸟瞰图像的目标检测问题。在鸟瞰图像(遥感、无人机图像)这类目标通常小而稀疏的场景中，目标检测对象大多是具有丰富自然属性和社会属性的地物，比如飞机、车辆、船舶、建筑等有清晰边界，可以明显区别于背景环境的目标。与一般场景相比，鸟瞰图场景在至少有两个方面存在较大的不同：(1)目标的尺度相比通用数据集(如MS COCO)的目标尺度小很多，这些小目标在通用检测器下采样过程中可能会丢失大部分信息或消失，因而导致在这些场景下通用检测器准确率较低，很难实现高精度的全图像检测。(2)物体在图像中稀疏分布，通常只在局部区域聚集。例如，车辆通常集中在道路上，油罐经常集中在工厂，图中的其他区域有大面积的背景，如森林、农田、海洋等。由于这些特征，鸟瞰图场景下的目标检测具有很大的挑战性。现有通用检测器无法在小目标的鸟瞰图场景下达到令人满意的检测精度，而从头训练专门为小目标而设计的检测器需要有时间和技术成本。

现有分块检测流程如CN113421253A公开的一种基于分块并行的目标检测方法，基于图像分析模型可将尺度较大或比例较极端的图像进行分块为多个子块进行检测，可防止缩放操作影响检测结果，实现了可对尺度较大或比例较极端的图像进行有效目标检测的目的。现有方法虽然可以有效提升该场景下的检测精度，却未考虑到鸟瞰图场景下物体目标尺度小且分布的稀疏性，将大量未包含目标物体的切片送入检测器，导致切片冗余、推理效率低下。

发明内容

本发明针对现有的划分切片方法对所有切片进行检测推理效率低的问题，提出了一种基于切片筛选的目标检测推理加速方法及系统，在现有划分切片检测方法基础上增加切片筛选机制来过滤掉不包含目标的切片，让鸟瞰图场景下的数据在通用检测器上达到高精度的同时实现了推理过程的加速。

为了实现上述目的，本发明提供如下技术方案：

一方面，本发明提供了一种基于切片筛选的目标检测推理加速方法，包括以下步骤：

S1、对鸟瞰图原图按设定的大小以相邻切片有一定重叠的方式进行划分，得到大小相同的切片；

S2、对划分得到的切片，使用由卷积神经网络来预测切片中每个区域包含目标的概率，输出关于切片的概率矩阵，取所有概率中最大值作为每个切片包含目标的概率；

S3、利用双阈值筛选方法对每个切片包含目标的概率进行筛选，得到明显和潜在包含目标的切片；

S4、对筛选出的明显和潜在包含有目标的切片进行目标检测，同时以原图作为辅助预测，输出相对于切片和原图的检测结果；