[发明专利]基于图像插帧法的位姿轨迹估计方法

说明书

本发明提供基于图像插帧法的位姿轨迹估计方法，在两幅图像帧之间插入新的帧，并将语义做为一种不变场景的表示，和特征点共同约束位姿轨迹估计，通过增帧之间的特征点匹配数量，降低追踪丢失情况，并且融合语义信息来降低动态物体特征点的影响和约束特征点的匹配，提高的位姿估计和轨迹估计的准确性。通过公开数据集上的实验表明，本方法保持了较高的精度，对于移动物体和稀疏纹理的情况鲁棒性强，在提高视觉里程计识别精度方面取得了良好的结果。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及基于图像插帧法的位姿轨迹估计方法。

背景技术

视觉里程计的目标是根据拍摄的图像估计相机的运动,目前常用的方法有两种，分别是特征点法和直接方法。其中，特征点方法目前占据主流，能够在相机运动较快，光照变化不明显且环境多样的地方取得很好的结果，但在类似隧道这种变化不明显的地方容易特征点缺失，产生不好的结果；直接方法不需要提特征，但是不适用于相机运动较快的环境。视觉里程计的核心是数据关联的问题，因为它在图像之间建立像素级的关联。这些对应关联的像素用于构建场景的三维地图，并且跟踪当前摄像机的位姿。这种局部跟踪和映射会在每一帧中引入小的误差，而如果两幅图像的拍摄时间差过久的话，其误差会更大，并且远处物体，当离近看的时候，特征会发生明显的变化。这种情况主要是相机拍摄的帧率太低，和对于特征缺乏不变性表示。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于图像插帧法的位姿轨迹估计方法，解决现有技术中视觉里程计根据拍摄图像进行位姿轨迹估计的识别精度不高的问题。

本发明所采用的技术方案是：基于图像插帧法的位姿轨迹估计方法，如图1所示，包括以下步骤：

S01特征检测：系统获取一系列图片，然后对图像进行ORB特征检测；

S02语义识别：根据前后帧获取到特征点的匹配数量，满足阈值要求的话对图像进行语义识别；否则，进行S021图像插帧；

所述S021图像插帧过程：在相邻两帧之间进行图像插帧，之后重新进行特征点的检测匹配；在采集图像时，难免会由于相机运动过快，或者相机的帧率太低，导致相邻两帧之间的共视部分过少，因此运用视频插帧技术可以解决这个问题，在两帧图像特征点匹配较少的情况下，利用图像插帧技术，增大相邻帧之间的共识部分，进而提高相匹配特征点的数量；

S03图像信息融合：在语义识别之后，将语义图像信息和特征点图像信息融合，去除动态物体上检测到的特征点；如果，去除动态物体特征点之后，特征点数不满足阈值要求，再进行S021图像插帧；

S04在满足阈值要求之后，最后进行位姿估计。

进一步的，在S021图像插帧过程中，使用一种深度卷积神经网络方法来估计合适的卷积核，以合成插值图像中的每个输出像素。

进一步优选的，所述卷积核的输出系数是非负的，且总和为1。

进一步的，在S021图像插帧过程中，使用插值像素颜色和底色之间损失函数和梯度损失函数相融合的方法，使得产生的图像更加清晰。

进一步的，在S02语义识别过程中，使用YOLO算法来提取语义信息，并且将语义信息分为静态物体和动态物体；去除在动态物体的上检测到的特征点，保留静态物体的特征点，构造新的损失函数，其为在经典的特征点损失函数的基础上，加入了语义损失函数的约束。

进一步的，在S03图像信息融合过程中，在利用语义图像信息来去除动态物体上检测到的特征点后，利用静态物体的特征点构造语义误差与重投影误差融合，进而提高位姿估计的精度。

进一步的，在S04位姿估计过程中，联合优化函数中的语义误差和重投影误差采用不同的权重，提高了系统的鲁棒性。

进一步的，在S04位姿估计过程中，使用期望最大化算法来最小化误差函数，确保位姿估计的精度。