[发明专利]三维场景重建方法及系统

权利要求书

1.一种三维场景重建方法，其特征在于，包括：

逐帧读取相机捕获到的图像帧，基于当前图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述当前图像帧中每个所述深度数据点的总体不确定度；

基于所述当前图像帧中每个所述深度数据点的所述总体不确定度，对所述当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到所述当前图像帧与所述场景子图的第一图像帧之间的相机位姿变化值；

若所述相机位姿变化值在设定阈值内，则将所述当前图像帧与对应场景子图进行深度数据点融合，得到融合后的场景子图；若所述相机位姿变化值不在设定阈值内，则基于所述当前图像帧新建一个场景子图；

将所有场景子图进行融合，得到重建后的三维场景图。

2.根据权利要求1所述的方法，其特征在于，所述基于当前图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述当前图像帧中每个所述深度数据点的总体不确定度，具体包括：

对所述当前图像帧中每个所述深度数据点以及每个所述深度数据点相对应的领域点进行主成分分析，建立相应的局部坐标系以及协方差矩阵，根据所述深度数据点的坐标以及所述协方差矩阵获得所述深度数据点的表面采样不确定度；

基于迭代最近点方法ICP对所述当前图像帧与前后连续多个图像帧进行局部相对变换，得到所述当前图像帧的深度方差图，并基于所述深度方差图得到所述当前图像帧中每个深度数据点的测量不确定度。

3.根据权利要求1所述的方法，其特征在于，所述基于所述深度方差图得到当前图像帧中每个深度数据点的测量不确定度后，还包括：

获取所述当前图像帧与前后连续多个图像帧的深度中值图，并根据所述深度中值图中的深度中值对所述当前图像帧的深度数据点进行中值滤波。

4.根据权利要求3所述的方法，其特征在于，所述将所有场景子图进行融合，得到重建后的三维场景图，具体包括：

根据所有场景子图的相机位姿，获得全局相机位姿图；

根据所述全局相机位姿图进行场景子图融合，获得所述三维场景图。

5.根据权利要求4所述的方法，其特征在于，所述根据所述全局相机位姿图进行场景子图融合，获得所述三维场景图，具体包括：

确定当前场景子图第一图像帧为关键帧，并提取所述关键帧中的ORB特征；

将提取出的所述ORB特征与已有的场景子图第一图像帧中的ORB特征进行匹配；

根据所述关键帧与所述已有的场景子图第一图像帧的ORB特征匹配结果，将所述关键帧插入所述全局相机位姿图中，获得所述当前场景子图与所述已有的场景子图的连接位置关系；

通过光束平差法局部优化所述当前场景子图关键帧的相机位姿、各所述已有的场景子图第一图像帧的相机位姿以及特征点的三维坐标；

检测所述关键帧插入后的所述全局相机位姿图是否存在闭环，其中：

若存在闭环，则通过光束平差法全局优化纠正所述闭环，并根据全局优化后的所述当前场景子图关键帧的相机位姿以及各所述已有的场景子图第一图像帧的相机位姿，融合所有场景子图，获得所述三维场景图；

若不存在闭环，则根据局部优化后的所述当前场景子图关键帧的相机位姿以及各所述已有的场景子图第一图像帧的相机位姿，融合所有场景子图，获得所述三维场景图。

6.根据权利要求5所述的方法，其特征在于，所述通过光束平差法全局优化纠正所述闭环，并根据优化后的所述当前场景子图关键帧的相机位姿以及各所述已有的场景子图第一图像帧的相机位姿，具体包括：

通过光束平差法全局优化所述当前场景子图关键帧的相机位姿、各所述已有的场景子图第一图像帧的相机位姿、所述特征点的三维坐标以及所述闭环，并更新所述当前场景子图关键帧的相机位姿以及各所述已有的场景子图第一图像帧的相机位姿。

7.根据权利要求1所述的方法，其特征在于，所述阈值包括旋转参数阈值和平移参数阈值，其中：

所述旋转参数阈值为20°；所述平移参数阈值为0.3米。