[发明专利]一种基于视觉的室内语义地图构建方法、装置及设备

说明书

本申请涉及一种基于视觉的室内语义地图构建方法、装置和计算机设备。所述方法包括：通过相机摄像头获取室内环境的图像数据流，根据图像数据流通过预设的模型分别构建度量图、区域划分层、房间拓扑图和对象层，将度量图、对象层、区域划分层和房间拓扑图逐层级联，完成基于视觉的室内语义地图构建。本发明提出的基于视觉的室内语义地图构建方法尤其适用于建立具有复杂语义信息的语义地图，其包括了物体类别、属性及物体之间的关系描述等语义信息，可以支撑复杂语义对象的检索、匹配和推理等任务，进一步提高了无人平台的感知能力和理解能力，增强了无人平台执行任务的自主性和智能性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于视觉的室内语义地图构建方法、装置和计算机设备。

背景技术

随着地面无人平台的迅速发展，尤其是室内服务机器人、工业物流调度小车等大规模应用，提升无人平台在执行任务过程中对环境的感知理解能力和自主性显得愈发重要和紧迫。语义地图可以看作无人平台对环境的形式化理解，该理解建立在无人平台探知的环境信息，以及环境中实体的语义信息上。因此，构建一种包含更多语义信息的语义地图，有利于无人平台执行更加复杂的任务，同时能够提高无人平台的自主性和适应力。

关于环境中对象的语义信息，现有的方法已经能够较为准确地识别对象的类别信息，然而在语义地图的构建过程却忽略了对象的属性、对象之间关系的信息识别，导致语义地图难以处理复杂语义对象的检索、匹配和推理等具有挑战性的任务。例如，针对“一个放在桌子上的靠近电脑的黑色杯子”，现有的语义地图无法提供准确的检索和匹配结果，因为地图中缺失对象属性、关系等语义信息。因此，现有语义地图技术存在环境表达效果不佳的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高语义地图环境表达效果的基于视觉的室内语义地图构建方法、装置、计算机设备和存储介质。

一种基于视觉的室内语义地图构建方法，所述方法包括：

通过相机摄像头获取室内环境的图像数据流；所述图像数据流包括色彩图、深度图、相机位姿信息、相机参数信息、无人平台运动轨迹和姿态数据；

将所述图像数据流输入到预设的视觉SLAM模型中，构建所述室内环境的度量图；

将所述图像数据流输入到预设的区域分割模型中，将所述室内环境划分为独立的房间，得到区域划分层；

将不同区域的所述图像数据流中的图像信息输入到预设的场景识别模型中，得到对应区域的场景类别标签；根据所述区域划分层和所述场景类别标签，构建房间拓扑图；

将所述图像数据流输入到预设的场景图生成模型中，由所述图像数据流中的单张图像得到局部场景图，由同一区域的多张局部场景图得到所述区域的全局场景图；将所述全局场景图上的语义信息实时定位并标注在所述度量图上，得到对象层；所述语义信息包括所述全局场景图中检测到的对象、所述对象的类别、所述对象的属性和所述对象间的位置关系；

将所述度量图、对象层、区域划分层和房间拓扑图逐层级联，完成基于视觉的室内语义地图构建。

在其中一个实施例中，还包括：将所述图像数据流输入到预设的基于神经网络的视觉SLAM模型中，通过边界搜索算法自动构建所述室内环境的度量图；

将所述度量图栅格化后进行存储。

在其中一个实施例中，还包括：将所述图像数据流输入到预设的区域分割模型中，根据门、廊的宽度、布局、形状的特征信息，通过基于特征匹配的传统算法或基于深度网络学习算法将所述室内环境划分为独立的房间，得到区域划分层。

在其中一个实施例中，还包括：将不同区域的所述图像数据流中的图像信息输入到预设的场景识别模型中，得到对应区域的场景类别标签；所述场景识别模型为深度学习模型；