[发明专利]未知环境下三维空间场景先验的目标语义导航方法及系统

说明书

本发明提供了未知环境下三维空间场景先验的目标语义导航方法及系统。其中该方法包括将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；提取语义目标的特征；将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；规划机器人当前位置与全局导航点之间的路径，进行局部导航。

技术领域

本发明属于导航定位领域，尤其涉及一种未知环境下三维空间场景先验的目标语义导航方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

现有的目标语义导航技术可分为如下两类：(1)利用传统语义实时定位与建图技术(SLAM)技术，进行语义地图构建后的目标轨迹的规划导航：例如，使用传统SLAM技术结合语义分割进行语义地图的构建；利用语义地图查找目标物体的位姿，进行路径规划与导航；此类技术普遍存在当场景变换或未知时无法利用语义导航的问题。(2)基于端到端的深度强化学习框架的目标导航方法：例如，对当前的观测和目标物体进行特征编码；将编码的特征并联后输入到强化学习框架中，直接进行导航动作的决策；此类技术往往存在训练过程过于缓慢，对新场景的泛化能力差的问题。

发明人发现，现有的目标语义导航方法，往往直接对场景特征进行提取，没有利用常识信息进行判断，对于场景先验的编码形式较为混乱，不能很好的发挥场景先验的作用。此外，现有的目标语义导航方案只针对小场景下的场景生成，对于大场景或多个房间存在状态空间过大的问题，且由于没有合理表达场景先验，对于利用场景先验加强多个房间的场景下的目标语义之间的关联性都存在一定的问题。在目标导航过程中，现有的技术只利用目前采集到的信息直接通过强化学习进行导航决策，没有引入三维空间场景先验信息，这将导致导航过程不够完善和智能，忽视了语义目标和场景之间的关联性，在未知的多房间场景中进行目标语义导航较为困难。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种未知环境下三维空间场景先验的目标语义导航方法及系统，其基于三维场景先验的，结合SLAM与深度强化学习的目标语义导航方法，能够实现在未知的三维空间场景下机器人自主寻找目标的功能。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种未知环境下三维空间场景先验的目标语义导航方法。

一种未知环境下三维空间场景先验的目标语义导航方法，包括：

获取当前环境的深度图像和彩色图像，得到图像序列，获取相机位姿信息；

对图像序列中的每一帧图像进行语义分割，得到三维语义分割点云信息；

根据当前相机位姿信息、相机内参、深度图像和语义分割点云信息，计算三维点云像素在三维空间中的坐标；

将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；

以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；

提取语义目标的特征，作为目标特征；

将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；

规划机器人当前位置与全局导航点之间的路径，进行局部导航。