[发明专利]基于深度学习的组合图像特征精确匹配方法

说明书

本发明提供一种基于深度学习的组合图像特征精确匹配方法，利用所识别目标，计算目标中心点位置，根据目标数量进行局部ORB算子匹配，或者构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配，能有效提高图像匹配算法的鲁棒性和精度。

技术领域

本发明涉及图像处理与图像导航技术领域，具体涉及一种基于目标识别的图像精确匹配方法。

背景技术

图像匹配技术是视觉导航、目标识别跟踪、人脸识别等领域的重点研究内容之一，是后续视觉任务的关键。随着系统对算法的实时性、精确性和鲁棒性要求的日益提高，以角点检测算子为主的Harris检测算子和SIFT等多尺度人工定义的特征算子已无法满足需求。图像匹配任务在实际机载导航、道路避障等背景下，采用基于像素级的特征提取方法会产生大量的特征冗余，尺度、光照、角度等变化会会引起特征的误匹配。实际能够正确匹配的特征点对只占提取到的特征点的一部分，另一方面，庞大的数据计算量将严重拖慢图像匹配算法的运行速度，即便是速度很快的ORB算法一旦在巨大数量级的运算量下也难以满足导航需求。

由于像素特征能反映的图像信息有限，难以完全显示图像目标的信息，并且大多数算法只针对特定场景有效，对于不同的光照、旋转、尺度变化等鲁棒性较弱。在这方面，基于深度学习的图像特征提取与目标识别算法具有较高的鲁棒性，并且提取的特征比单一算子或组合特征要丰富。随着基于深度学习的图像处理方法的兴起，基于卷积神经网络的深度学习框架被广泛地研究和应用。相比于人工设计的特征算子，基于深度学习的特征提取与目标检测算法能更加直观、稳定地提取出图像中的信息，并且减少了特征数量。基于卷积神经网络的组合特征构建是当下图像匹配研究的热门方向之一。然而，该类特征提取方法可以很好地提取图像特征，但是定位精度较低。采用神经网络进行目标识别或缩小匹配区域，然后进行精确匹配的方法既可以保证图像匹配的精确度，又可以一定程度上削弱神经网络对目标定位的误差。

发明内容

针对上述现有技术的优势与不足，本发明提出一种基于目标识别的图像精确匹配方法，利用所识别目标，计算目标中心点位置，根据目标数量进行局部ORB算子匹配，或者构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配，能有效提高图像匹配算法的鲁棒性和精度。

为了实现上述目的，本算采用如下技术方案：

基于深度学习的组合图像特征精确匹配算法，包括如下步骤：

步骤1：将两幅待匹配图像分别进行基于CenterNet神经网络的目标提取，并对提取目标进行非极大值抑制，合并重叠面积大的目标；

步骤2：如果两幅待匹配图像之一的目标数量小于等于5，则对两幅待匹配图像进行局部ORB算子匹配，否则构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配。根据实验经验，当目标数大于5个时，构建Delaunay三角网络可以比较好地体现出目标之间的几何关系，5个以下时比较方便ORB算法进行分组匹配，并且目标数较多时，目标大小普遍会较小，不利于目标框的准确定位。目标数阈值的选取可以根据应用场景做修改，一般情况下选取5个更为合适。

优选的，步骤2中局部ORB算子匹配的步骤包括：

步骤a.1：将两幅待匹配图像分别按照各自提取出的目标框进行图像分割，对图像中每个目标框内的图像进行ORB特征提取，并统计特征数目；

步骤a.2：遍历待匹配图像中的目标，对两幅图像中分类标签相同的目标进行ORB特征匹配，对于每个目标，只保留与之匹配特征点对数最多的目标作为匹配结果；

步骤a.3：根据分割出的目标，将匹配对索引回原图位置，完成图像匹配。

优选的，步骤2中构造Delaunay三角剖分网络，计算特征三角形进行目标点匹配的步骤包括：

步骤b.1：对图像中所有置信度高于阈值的目标中心点进行delaunay三角剖分；