[发明专利]基于深度学习的服务机器人2D语义地图生成方法及装置

权利要求书

1.一种基于深度学习的服务机器人2D语义地图生成方法，其特征在于，所述方法包括：

机器人通过自身记录的数据以及在运动过程中收集的激光传感器扫描数据，利用SLAM算法生成2D占用网格地图；

通过改进的地图分割算法获取地图的每一块区域，生成区域划分地图；

利用语音嵌入系统以及机器人搭载的RGB-D相机获取视觉以及语音多模态数据信息；

将两者信息融合输入到区域分割地图，最终获取机器人2D语义地图。

2.根据权利要求1所述的一种基于深度学习的服务机器人2D语义地图生成方法，其特征在于，所述改进的地图分割算法具体为：

利用机器人建图过程中获取的RGB-D图像信息配合场景分类网络进行分割校正，将获取的视觉信息定位到地点位置，并在地图中标记，将标记后图像输入到CNN场景分类网络中，按照规则获取标签数据。

3.根据权利要求1所述的一种基于深度学习的服务机器人2D语义地图生成方法，其特征在于，所述利用语音嵌入系统以及机器人搭载的RGB-D相机获取视觉以及语音多模态数据信息具体为：

将RGB-D图像输入到场景识别及目标检测算法中，利用判别机制获取场景信息，通过语音转文本模型获取语音数据。

4.根据权利要求2所述的一种基于深度学习的服务机器人2D语义地图生成方法，其特征在于，所述按照规则获取标签数据具体为：

Image₁，Image₂，...，Image_n∈Region

Map＝{Region₁，Region₂，...，Region_n}

其中，Image表示输入图像，Region表示同一颜色的区域，多个区域组成了一张地图，如果同一区域的图像输出分类结果大于80％都属于同一个类别，那么该区域属于该类别，将场景类别大于总占比的20％的区域进行重新划分，以确定正确的区域场景。

5.根据权利要求4所述的一种基于深度学习的服务机器人2D语义地图生成方法，其特征在于，所述同一区域的图像输出分类结果大于80％都属于同一个类别，那么该区域属于该类别，将大于总占比的20％的区域进行重新划分，以确定正确的区域场景具体为：

其中，CNN网络的映射函数为将图像输入CNN网络得到的分类结果设为r；r₁-r_n为不同的场景分类结果；r_max为区域内数量最多的场景分类结果；Image的下标为输入图像的索引，MAX为最大值、Same为相同量、Proportion为占比。

6.一种基于深度学习的服务机器人2D语义地图生成装置，其特征在于，所述装置包括：

第一生成模块，用于机器人通过自身记录的数据以及在运动过程中收集的激光传感器扫描数据，利用SLAM算法生成2D占用网格地图；

第二生成模块，通过改进的地图分割算法获取地图的每一块区域，生成区域划分地图；

第一获取模块，用于利用语音嵌入系统以及机器人搭载的RGB-D相机获取视觉以及语音多模态数据信息；

第二获取模块，用于将两者信息融合输入到区域分割地图，最终获取机器人2D语义地图。

7.根据权利要求6所述的一种基于深度学习的服务机器人2D语义地图生成装置，其特征在于，所述第二生成模块包括：

分割校正子模块，用于利用机器人建图过程中获取的RGB-D图像信息配合场景分类网络进行分割校正；

获取标签数据子模块，用于将获取的视觉信息定位到地点位置，并在地图中标记，将标记后图像输入到CNN场景分类网络中，按照规则获取标签数据。