[发明专利]三维语义地图的构建方法和装置

权利要求书

1.一种三维语义地图的构建方法，其特征在于，包括：

获取相机采集样本空间得到的图像数据，所述图像数据包括RGB图像和深度图像；

根据预设深度学习网络，对所述RGB图像进行语义分割，获取二维语义图像，所述二维语义图像包括描述所述样本空间的语义信息；

获取所述二维语义图像和深度图像的编码信息，对相机的位姿进行回环检测和重定位，确定每一帧图像数据的相机位姿；

根据所述深度图像，构建三维空间地图；

根据所述每一帧图像数据的相机位姿，将所述二维语义图像和所述三维空间地图融合，得到所述样本空间的三维语义地图。

2.根据权利要求1所述的方法，其特征在于，所述预设深度学习网络包括浅层网络、深度残差网络和全局平均池化，所述根据预设深度学习网络，对所述RGB图像进行语义分割，获取二维语义图像，包括：

根据所述浅层网络对所述RGB图像进行特征提取，获取低层空间特征信息，所述浅层网络包括卷积层、归一化层和激活层；

根据深度残差网络和全局平均池化，对所述RGB图像进行特征提取，得到高层上下文信息；

对所述高层上下文信息进行上采样，得到空间维数与所述低层空间特征信息匹配的高维高层上下文信息；

将所述低层空间特征信息和所述高维高层上下文信息进行特征融合，得到二维语义图像。

3.根据权利要求2所述的方法，其特征在于，所述根据深度残差网络和全局平均池化，对所述RGB图像进行特征提取，得到高层上下文信息，包括：

根据深度残差网络对所述RGB图像进行特征提取，得到特征信息；

对所述特征信息进行下采样，扩大所述特征信息的感受野；

根据所述全局平均池对所述感受野进行扩大，获取全局上下文信息；

将所述全局上下文信息与所述特征信息结合，得到所述高层上下文信息。

4.根据权利要求1所述的方法，其特征在于，所述获取所述二维语义图像和深度图像的编码信息，对相机的位姿进行回环检测和重定位，确定每一帧图像数据的相机位姿，包括：

根据预设随机蕨算法，对所述二维语义图像和深度图像进行编码，整合得到每一帧图像数据对应的编码信息；

根据所述编码信息，获取每一帧图像数据之间的相似度；

根据所述相似度，确定所述图像数据中的关键帧；

根据所述相似度进行回环检测，从所述关键帧中确定与图像数据中的当前帧相似的相似关键帧；

根据预设迭代最近点算法，对当前帧的顶点法向量、相似关键帧的顶点法向量进行配准，得到配准结果；

根据所述配准结果、所述相似关键帧的相机位姿和所述预设迭代最近点算法，获取当前帧的相机位姿；

对当前帧的相机位姿进行重定位，确定每一帧图像数据的相机位姿。

5.根据权利要求4所述的方法，其特征在于，所述对当前帧的相机位姿进行重定位，确定每一帧图像数据的相机位姿，包括：

获取多个所述相似关键帧的相机位姿；

根据多个所述相似关键帧的相机位姿和所述预设迭代最近点算法，对当前帧的相机位姿进行重定位，确定每一帧图像数据的相机位姿。

6.根据权利要求4所述的方法，其特征在于，所述根据所述编码信息，获取每一帧图像数据之间的相似度，包括：

上式中，表示第I帧图像数据与第J帧图像数据的相似度，表示第I帧图像数据中像素点x_k的二进制编码，表示第J帧图像数据中像素点x_k的二进制编码，符号“≡”表示异或运算。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述深度图像，构建三维空间地图，包括：

获取每一帧深度图像的点云数据，将所述每一帧深度图像的点云数据加权融合至预设函数模型中，构建得到三维空间地图。