[发明专利]一种实现图像帧之间配准的方法、装置和存储介质

说明书

本申请公开了一种实现图像帧之间配准的方法、装置和存储介质，具体为获取样本图像帧，并在样本图像帧中选取参考帧以及需要与参考帧进行配准的目标帧，将参考帧中的第一像素点投影至目标帧中得到投影点，投影点与第一像素点对应在目标帧中的第二像素点之间的距离的平方作为标签数值，分别对第一相关性度量模型和第二相关性度量模型进行训练，并使用两个相关性度量模型预测两个待配准图像帧之间的最优相关性度量值，并在待配准图像帧之间进行配准。本申请实施例通过制作与图像帧之间的位姿优化正相关的相关性度量值对应的数据集，并分别通过两种相关性度量模型进行相关性度量值的预测，提升了利用相关性度量值在图像帧之间进行配准的准确性。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种实现图像帧之间配准的方法、装置和存 储介质。

背景技术

即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)中最核心的部 分是图像帧之间的相对位姿求解，即图像配准的过程。图像配准是求解刚性空间变换的过程， 该变换将一个图像中的点或斑块准确地映射到另一图像中的对应点或斑块，这在视觉几何中 得到了广泛使用。同时，精确的帧间位姿求解也是实现立体成像、视觉三维重建和运动恢复 结构等技术的必要前提。

具体的，帧间位姿的优化可以分为基于特征对应的特征点法和基于光度误差的直接法， 特征点法通过人工设计的特征点获得图像之间的匹配关系，然后通过最小化特征的对齐误差 (重投影误差)来优化位姿，其中特征的提取与匹配是比较耗时的工作，而且存在误匹配的 风险；直接法则通过最小化图像斑块(patch)的光度误差来完成位姿优化，其中光度误差计 算方式影响了优化模型的收敛性。光度误差为图像斑块之间的相似性度量，传统的相似性度 量方式包括光度的绝对误差和(Sum of Absolute Differences，SAD)、误差平方和(Sum of Squared Differences，SSD)等，采用此类度量方式指导优化的前提为随着度量误差的逐渐 减小，位姿会逐渐接近于真实值，二者的正相关性决定了优化模型的凸性。但是，使用诸如 SSD的相似性度量来优化相对姿态取决于以下相关性：随着相似性得分的增加，相对姿态逐 渐接近真实值。对于SSD等算法，这种正相关性很弱。由于大数据中的正相关性较弱，因此 只有当大量的斑块参与计算时，姿态估计误差才会平滑收敛。因此，基于光度的视觉历程， 例如基于大尺度单目直接法的视觉里程设计(Large Scale Directmonocular，LSD)和基于 稀疏直接法的视觉里程计(Semi-direct Visual Odemetry，DSO)必须通过使用大量斑块和 多帧联合优化来保持其收敛性和准确性。所以采用直接法的SLAM，都不得不采用图像金字塔 等方式来求解较好的初值，并且需要采用大量的斑块采样、联合优化等方式来维持相似性度 量尺度和位姿精度之间的正相关性，从而保证优化的收敛性和准确性。因此使用上述方法， 可能使得图像帧之间的位姿优化限于局部优化，并因其度量标准与位姿优化之间的相关性较 弱，使得图像帧之间的位姿优化准确性较低。

发明内容

本申请实施例提供了一种实现图像帧之间配准的方法，克服了图像帧之间位姿优化精度 较低的问题。

该方法包括：

获取样本图像帧，并在所述样本图像帧中选取参考帧以及需要与所述参考帧进行配准的 目标帧；

将所述参考帧中的第一像素点投影至所述目标帧中得到投影点，并将所述投影点与所述 第一像素点对应在所述目标帧中的第二像素点之间的距离的平方作为标签数值；

将所述参考帧和所述目标帧作为输入数据，并将与所述参考帧和所述目标帧对应的所述 标签数值作为输出数据，将所述输入数据和所述输出数据作为数据集分别对第一相关性度量 模型和第二相关性度量模型进行训练；

将至少两个待配准图像帧输入预先训练的所述第一相关性度量模型和所述第二相关性度 量模型，分别得到两个所述待配准图像帧之间的第一相关性度量值和第二相关性度量值；