[发明专利]基于深度学习的服务机器人2D语义地图生成方法及装置

说明书

本发明公开了一种基于深度学习的服务机器人2D语义地图生成方法及装置，方法包括：机器人通过自身记录的数据以及在运动过程中收集的激光传感器扫描数据，利用SLAM算法生成2D占用网格地图；通过改进的地图分割算法获取地图的每一块区域，生成区域划分地图；利用语音嵌入系统以及机器人搭载的RGB‑D相机获取视觉以及语音多模态数据信息；将两者信息融合输入到区域分割地图，最终获取机器人2D语义地图。装置包括：第一生成模块、第二生成模块、第一获取模块、及第二获取模块。本发明通过对地图区域划分的设计与改进，结合场景识别算法判定机制的设计，以及语音系统的嵌入，来丰富语义地图的信息以及提高精度。

技术领域

本发明涉及机器人应用技术领域，尤其涉及一种基于深度学习的服务机器人2D语义地图生成方法及装置。

背景技术

目前的2D语义地图生成算法是来自一篇机器人会议论文，作者为Anwesan Pal等人。参考文献^[1]主要针对语义地图生成中的场景识别部分进行了研究与测试。将目标检测和场景识别算法相结合，设计了五种相关模型用于对比实验。利用Place365数据集训练Resnet18网络进行场景分类，因为Place365包含365个不同场景，作者挑选了7个室内场景例如：厨房，客厅等各5000张，另外使用YoloV3训练COCO数据集进行目标检测，用于辅助检测场景分类模型。作者挑选了各类场景中可能出现的目标，当场景置信度低于阈值时，可启用目标检测模型来辅助判别场景。比如在场景中出现床这个目标，基本可以确定这是卧室场景。同时作者利用这些大型数据集即便在未知环境中也能很好的检测出标签信息而不需要根据特定环境重新训练模型。但是，在生成语义地图的过程中，场景识别固然重要，房间地图的分割也很重要，只有先将地图分割成不同的房间区域，才能使用场景识别算法进行场景划分，方便机器人进行有效的人机交互，路径规划等。但是该文章简化了房间分割这部分，使用了早年的高斯分割方式，分割精度有待提高。

对此有些现有技术专门研究了地图的房间分割算法，最近的室内地图分割有maoris分割算法^[2]。该算法专门对机器人通过同步定位与建图(SLAM)生成的2D占用网格地图进行一些操作，从而对该地图进行区域分割，同时该技术也可以对地图草图进行处理。该算法通过在地图的距离图像和圆形核之间进行卷积并对相同值的像素进行分组来对地图进行分割。然后用检测像素值快速变化的波纹状图案合并具有相似值的相邻区域来完成分割。该种方式适合各种草图地图以及通过SLAM算法生成的地图，是非常优秀的算法，同时只需要输入一张地图这一单一信息就能完成分割，操作简单容易实现。但是正如它只需要输入单一地图信息，导致分割效果略有不足，有时单个房间会被分割成多个房间，影响精度，需要通过多种信息相互融合来弥补该缺陷。

参考文献

[1]A.Pal,C.Nieto-Granda,and H.I.Christensen,“DEDUCE:Diverse scenedetection methods in unseen challenging environments,”in IEEE/RSJ IROS,2019,pp.4198–4204.

[2]Mielle,M.,Magnusson,M.,and Lilienthal,A.J.(2018).“A method tosegment maps from different modalities using free space layout maoris-mapofripples segmentation,”in 2018 IEEE International Conference onRobotics andAutomation(ICRA)(Brisbane,QLD),4993–4999.

发明内容

本发明提供了一种基于深度学习的服务机器人2D语义地图生成方法及装置，本发明通过对地图区域划分的设计与改进，结合场景识别算法判定机制的设计，以及语音系统的嵌入，来丰富语义地图的信息以及提高精度，详见下文描述：