[发明专利]一种室内三维语义地图构建方法

权利要求书

1.一种室内三维语义地图构建系统，其特征在于，包括数据采集模块、三维稠密重建模块、语义融合稠密重建模块；

所述的数据采集模块，采集室内环境的颜色深度RGB-D图像信息，划分为RGB图像和深度图像；分别进行RGB图像目标检测/语义分割、CUDA深度图像修复；

所述的三维稠密重建模块，将输入的对齐好的颜色和深度的数据流做帧与帧之间的对应关系匹配，接着做全局位姿优化，将整体的漂移校正过来，整个重建过程中模型处于不断动态更新状态；

所述的语义融合稠密重建模块，对相机采集的图像进行目标检测或者语义分割，将所得图像语义结果通过基于贝叶斯更新的融合算法整合到三维稠密点云重建中，实现面向服务机器人的室内场景三维语义地图构建；

所述室内场景三维语义地图构建包括以下步骤：

步骤S1.数据采集；使用RGB-D传感器采集室内环境的颜色深度RGB-D图像信息，包括RGB图像和深度图像；

步骤S2.语义信息的获取：对采集到的二维RGB图像使用深度学习算法进行目标检测或者语义分割，得到对应的语义信息；

步骤S3.深度图像修复；

步骤S4.室内环境三维地图构建：利用修复过的室内环境RGB-D图像进行三维地图构建；

步骤S5.三维语义地图的形成：将基于步骤S2获得的带语义信息的目标通过坐标位置转换融合于步骤S4获得的室内三维地图，并用标签在地图上进行赋值标注，形成室内环境三维语义地图。

2.根据权利要求1所述的室内三维语义地图构建系统，其特征在于，所述步骤S1的具体步骤如下：

由用户手持设有RGB-D传感器的设备或由设有RGB-D传感器的移动式机器人对室内环境进行扫描，获得连续的RGB-D图像。

3.根据权利要求2所述的室内三维语义地图构建系统，其特征在于，所述步骤S2中的目标检测方法为YOLOv3。

4.根据权利要求3所述的室内三维语义地图构建系统，其特征在于，所述步骤S3使用基于CUDA技术的并行化实时深度图像修复算法。

5.根据权利要求3所述的室内三维语义地图构建系统，其特征在于，所述步骤S4采用改进的三维重建BundleFusion算法。

6.根据权利要求1所述的室内三维语义地图构建系统，其特征在于，所述CUDA深度图像修复的具体步骤如下：

对每一个深度图像上的无效点使用公式(1)进行滤波：

式中：I_dest是修复后的图像，I_src为原图像，ω(i,j)为滤波器在点(i,j)的权重，Ω_inv为图像上的无效点区域，Ω_n是除去无效点的像素邻域，ω_p是标准量由公式(2)计算；

而权值ω(i,j)同时与像素点的空域与值域线性相关，距离越近、像素值变化越小相关性越大，其滤波核函数定义如下：

式中：是空域高斯函数的标准差，是值域高斯函数的标准差，x,y是滤波器窗口内像素的横坐标，i,j是当前正在处理的无效点的像素坐标，I表示在深度图像上某一像素的值。

7.根据权利要求1所述的室内三维语义地图构建系统，其特征在于，所述的三维稠密重建模块，

在匹配方面，使用一种由粗到细的并行全局优化方法；使用稀疏的SIFT特征点来进行比较粗糙的配准，再使用稠密的光度与几何约束进行更加精细的配准；

在位姿优化方面，使用一种分层的局部到全局的优化方法，总共分为两层，在最低层上，每连续10帧组成一个chunk，第一帧作为关键帧，然后对该chunk内所有帧做局部位姿优化；在第二层上，只使用所有的chunk的关键帧进行互相关联然后全局优化；

在稠密场景重建方面，基于姿态估计，修正无特征区域中累积漂移或推算引起的重建误差。