[发明专利]基于三维特征约束的单目深度图像位姿优化方法

说明书

本发明涉及三维稠密重建技术领域，具体涉及一种基于三维特征约束的单目深度图像位姿优化方法，包括：S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化；S300、根据所述第一欧式距离、所述第二欧式距离和所述帧f_i的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿。

技术领域

本发明涉及三维稠密重建技术领域，具体涉及一种基于三维特征约束的单目深度图像位姿优化方法。

背景技术

在三维稠密重建领域，常用的输入设备为单目深度相机，使用单目深度相机进行三维建模时，一般首先对重建过程分段，然后配准固定数量的连续帧，组成一段，再扩展段的首尾，以段为整体进行段与段之间的匹配、验证和优化。采用基于彩色点云配准的方法，该方法使用稠密的光度误差作为优化项，这就导致帧间位姿估计趋向于得到每对内点颜色误差平均的结果，而不关注两帧图像间稀疏特征点的匹配，使得配准后的点云出现细节模糊的情况。

此外，传统方法大多只考虑局部特征匹配，当同一特征点在不同的时间段被多次观察，将作为不同的独立特征，产生多个优化变量，而事实上他们都对应同一个特征点。在优化时，这些优化变量基于局部的观测值被分别优化，变量之间没有建立联系，无法分享信息，只能得到局部最优解。当进行全局重建，被反复观测的特征时常出现错位重影。

最后，单纯基于视觉特征点的全局集束调整算法在面对白墙、天花板等场景时难以提取有效特征，对应的位姿在优化过程中被丢弃，导致重建结果的缺失。

因此，有必要提供一种优化方法，消除建模结果细节上的错位、重影，实现鲁棒的、完整的全局三维建模。

发明内容

解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种基于三维特征约束的单目深度图像位姿优化方法，消除建模结果细节上的错位、重影，实现鲁棒的、完整的全局三维建模。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供了一种基于三维特征约束的单目深度图像位姿优化方法，用于对多帧单目深度图像进行优化，并且所述多帧单目深度图像通过单目深度相机采集，并基于三维点云配准生成，其特征在于，包括：

S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；

S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化，具体为：

S201、选取被所述单目深度相机观测次数大于等于两次的特征点，最小化其世界坐标到所有观测值之间的欧式距离，得到第一欧式距离；

S202、对所述特征点地图中的每一个特征点，最小化其世界坐标到所述三维点云的欧氏距离，得到第二欧式距离；

S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q，选取q＜15的帧f_i，通过约束所述帧f_i与其前后相邻的两帧的相对位姿，使得所述帧f_i的位姿接近所述单目深度相机的初始位姿，得到所述帧f_i的新位姿；

S300、根据所述第一欧式距离、所述第二欧式距离和所述帧f_i的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿。

进一步地，步骤S100具体为：