[发明专利]基于任意四边形回归的目标检测与精确定位方法

说明书

本发明涉及一种基于任意四边形回归的目标检测与精确定位方法，首先，进行图像预处理，划分图像数据训练集、验证集和测试集之后，针对数据集的特点，采用相应的数据增强手段，添加基于目标坐标的随机裁剪、亮度扰度与亮度直方图均衡化等。其次，构建神经网络模型，主干网络提取特征之后，构造关键点检测分支，通过热力图回归直接预测目标区域的四个关键点位置，使得神经网络具备直接预测任意四边形的能力，从而精确定位目标的关键区域。最后，改进与优化算法模型，扩大特征尺寸并局部映射，基于注意力机制进行特征融合，利用多任务多阶段的混合级联结构与分支间的信息交互进一步提升目标检测定位精度。

技术领域

本发明属于计算机视觉领域、目标检测技术领域，涉及一种基于任意四边形回归的目标检测与精确定位方法。

背景技术

目标检测是计算机视觉领域的基本任务之一，近些年随着深度学习技术的发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。

随着计算机视觉分类识别任务的深入研究，基于卷积神经网络检测算法的研究已经从算法的通用目标检测精度提升和检测速度提升，逐渐拓展到特定领域的目标检测。一些场景的目标普遍带有任意旋转的多角度，普通正框检测的方法无法满足需求，比如遥感目标检测、货架商品检测、自然场景下的文本检测、顶拍鱼眼镜头下的人体或物体检测。与通用目标检测相比，特定目标检测有更为具体的研究背景，其研究内容也往往是针对这些特殊背景展开。

以工业应用中的仪表检测识别任务为例，当前，深度学习方法广泛应用到仪表检测定位中，采取通用目标检测任务中位置预测方式，定位仪表所在的最小外接矩形框，效果远高于传统检测定位方式。但是由于仪表检测任务具有一定特殊性，需要准确获取仪表的表盘位置，对其进行倾斜校正以方便后续读数识别等任务。只定位包围仪表的最小矩形具有很大的局限性，可能会对后续任务带来不良影响，需要更加精确的定位结果。

利用计算机视觉技术进行目标检测与精确定位的难点主要有两方面：第一，目标由于角度的倾斜很可能会发生形变，需要进行目标区域倾斜校正，因此，算法要具备可以预测任意四边形位置的能力，通用目标检测技术只预测目标的最小包围框，这对于特定检测定位任务而言其定位的效果难以满足后续任务的要求，无法仅利用包围目标最小包围框位置信息进一步校正成正视角度下的目标图像。此外，即便使用实例分割技术，可以获取目标的位置掩码，但面临如何减少利用位置掩码进行透视变换时引入误差的问题；第二，应用场景不同，室内外光照条件不同，目标所在环境复杂存在大量的干扰信息，成像设备与目标的距离不同，目标的尺度会发生较大变化存在大量的小目标，而且目标种类多样外形多变，这些不良条件对方法的鲁棒性提出了挑战。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于任意四边形回归的目标检测与精确定位方法。首先，对目标图片数据进行四边形位置标注，然后对图像进行预处理操作，主要包括图像数据训练集、验证集和测试集的划分以及特定的图像增强处理；然后，构建基于任意四边形回归的仪表检测网络模型，包括特征提取网络模块、FPN模块、RPN模块、ROI Align池化层和基于全连接层的分类回归分支以及基于全卷积网络的关键点检测分支Grid Head；接着，利用增强后的图像数据集对网络模型进行训练，得到训练好的网络；最后，利用训练好的网络对待检测目标图像进行处理，得到最终的检测结果。本发明具有检测任意四边形的能力，能够使用预测的四边形位置信息方便地得到目标关键区域的正视图，为后续处理提供便利；此外，进行网络结构调整与优化，扩大输入关键点检测分支的特征尺寸并根据坐标进行局部区域映射，基于多重注意力机制进行多重特征融合，利用多任务多阶段的混合级联结构与分支间的信息交互，从多种角度提高算法性能，提高各种不良条件下方法的检测精度与鲁棒性。

技术方案

一种基于任意四边形回归的目标检测与精确定位方法，其特征在于步骤如下：