[发明专利]基于消费级摄像头的鲁棒实时三维重建方法

摘要

基于消费级摄像头的鲁棒实时三维重建方法，本发明涉及基于消费级摄像头的鲁棒实时三维重建方法。本发明是要解决现有方法计算成本高，重建的模型不精确并且不完整的问题。一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入，估计每一视频帧在场景坐标系下的相机姿态：二、在视频帧中选择最佳的关键帧用于深度估计；三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度图：四、将每一视频帧的深度图转换为截断符号距离场，在体素上并行地执行TSDF的加权平均，增量地融合每一视频帧的深度图，并通过Marching cubes算法构建三角网格表面。本发明应用于图像处理领域。

主权项

1.基于消费级摄像头的鲁棒实时三维重建方法，其特征在于按以下步骤实现：一、在摄像头移动的过程中，基于摄像头当前的视频帧作为输入,估计每一视频帧在场景坐标系下的相机姿态，其具体过程为：(a)构建一组关键帧集合在摄像头移动的过程中，依据时间距离和空间距离阈值从视频帧中选取关键帧k，每一个关键帧对应一个估计的相机姿态，所有关键帧构成关键帧集合(b)构建三维图三维图中包含点云数据其中p_i为点云数据中的某一三维点，为的基，即中元素的数量，当新的关键帧被加入关键帧集合时，它与关键帧集合中其他关键帧执行立体匹配，产生新的点云数据加入点云中的每一个三维点p_i记录着它的三维坐标，法线方向，像素特征；(c)三维图和关键帧集合通过全局捆绑调整进行精细优化：其中e_jk为第j个三维点相对于第k个关键帧的重投影误差，Obj为Huber函数，以增加对噪声和野点的鲁棒性，S_k为在关键帧k上可见的三维图的子集，和分别表示第2个和第个关键帧的相机姿态估计值；μ为待优化的相机姿态，p为待优化的三维点；(d)估计每一视频帧在场景坐标系下的相机姿态：相机姿态为三维空间的刚体变换，假设当前视频帧序号为i,相机姿态包括了3×3的旋转矩阵R_i和3×1的平移矢量t_i,在李群和李代数中，用一个6维的矢量μ_i等价的表示相机姿态；配准当前视频帧i与三维图即寻找最优的相机姿态参数使得三维图中相对于视频帧i的可见点集S_i的重投影误差最小：其中，μ为待优化相机姿态，ej代表Si中第j个三维点相对于当前视频帧i的重投影误差，Obj为Huber函数；二、在视频帧中选择最佳的关键帧用于深度估计，其具体过程为：(一)将关键帧集合中的关键帧按照和当前帧的基线大小的升序排列，并选择前M帧构成一个子集，从中选择与当前帧夹角最小的关键帧子集假设关键帧集合中的相机中心坐标依次是c₁,c₂,c₃...c_n,当前帧的相机中心坐标为c,当前帧与第m个关键帧的基线的计算方法是：(二)根据基线大小，按照升序进行排序，根据距离阈值T从中选择一个关键帧子集T值定义为相邻关键帧之间距离的平均值的2倍，当前帧与关键帧之间的夹角的计算如下：假设当前帧的光学轴为r，某一关键帧的光学轴为rm,则二者的夹角为：其中·为点积操作，||为矢量范数；(三)根据当前帧与关键帧子集中的关键帧逐个的计算夹角，从中选择夹角最小的关键帧K_m作为最佳关键帧用于下一步的深度估计；三、采用快速鲁棒的深度估计算法估计每一视频帧的深度信息得到每一视频帧的深度图：四、将每一视频帧的深度图转化为截断符号距离场，并在体素上执行增量的深度融合，最后输出三角网格表面，即完成了基于消费级摄像头的鲁棒实时三维重建方法。