[发明专利]一种基于多视图立体匹配的实时三维重建方法

权利要求书

1.一种基于多视图立体匹配的实时三维重建方法，其特征在于，该方法包括以下步骤：

S1：获取单目相机实时拍摄的RGB图像，生成图像流；

S2：采用基于半直接法的视觉里程计算法对图像流进行处理，筛选关键帧并估计对应的相机位姿；

S3：将关键帧及其对应相机位姿输入到改进的基于深度学习的多视图立体匹配网络，利用自适应代价聚合方法最终得到各关键帧对应的深度图；

S4：将深度图采用基于截断地带符号距离函数算法进行融合，融合得到三维重建模型。

2.根据权利要求1所述的一种基于多视图立体匹配的实时三维重建方法，其特征在于，步骤S2中，采用基于半直接法的视觉里程计算法对图像流进行处理，具体包括以下步骤：

S21：按照一定倍率，对所述图像流中的各个图像缩放多次，构建图像金字塔；

S22：检测图像金字塔的FAST角点，设置相机初始位姿为单位阵，以第一帧为关键帧；

S23：通过当前帧和上一帧中特征点周围区域的灰度差异，构建光度误差优化函数；

S24：若当前帧为关键帧，使用三角测量方法，利用相机位姿估计特征点平均深度，构建地图点；

S25：找到当前帧能观测到角度最近的关键帧所构建的地图点，并找到所述地图点在关键帧对应的特征点，通过灰度差优化所述地图点在当前帧上的投影，从而优化所估计的相机位姿；

S26：将关键帧、对应估计的相机位姿和三角测量所得特征点平均深度形成数据流输出。

3.根据权利要求2所述的一种基于多视图立体匹配的实时三维重建方法，其特征在于，所述光度误差优化函数表示为：

其中，T为相机位姿，T_k,k-1表示第k个相机位姿与第k-1个相机位姿之间的光度误差，u_i表示第i个图像坐标，ΔI表示像素灰度值差值；为第k个相机位姿的映射后第i个图像坐标的像素灰度值，I_k-1(u_i)为第k-1个相机位姿的第i个图像坐标的像素灰度值，π与π^-1为相机模型由相机内参K决定，表示相机坐标系和世界坐标系的转换关系，为相机透镜中心到世界三维点图像坐标的距离。

4.根据权利要求3所述的一种基于多视图立体匹配的实时三维重建方法，其特征在于，所述优化所估计的相机位姿所采用的优化问题表示为：

其中，u_i′表示优化后第i个图像坐标，I_k(u_i)为第k个相机位姿的像素灰度值，I_r(u_i)为第r个相机位姿的像素灰度值，Α_i为针对第i个图像坐标的特征点周围区域的仿射变换；通过优化当前帧的投影，更新光度误差优化函数，重新计算优化后的相机位姿。

5.根据权利要求2所述的一种基于多视图立体匹配的实时三维重建方法，其特征在于，步骤S24中关键帧的判定方法具体包括若当前帧的距离超所有之前所有关键帧平均深度的阈值比例，则判断该当前帧为关键帧，并删除距离该当前帧最远的关键帧。