[发明专利]用于扫地机器人的语义导航方法及其系统

权利要求书

1.一种用于扫地机器人的语义导航方法，其特征在于，包括以下步骤：

步骤S1：获取扫地机器人在环境中的定位信息；

步骤S2：获取环境中障碍物所对应的深度图；

步骤S3：获取深度图中所有障碍物的三维位置；

步骤S4：识别环境中障碍物对应的语义信息；

步骤S5：构建带语义的场景二维栅格地图；

步骤S6：规划扫地机器人路径，引导扫地机器人行进；

步骤S7：实时更新带语义的场景二维栅格地图。

2.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S1中，获取扫地机器人在环境中的定位信息，还包括以下步骤：

步骤S11：获取图像P₁，图像P₁为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向；

步骤S12：提取并跟踪每帧图像P₁的视觉局部特征信息；

步骤S13：采集两帧图像P₁间的惯性导航单元信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P₁间机器人的相对位置和相对姿态，得到预积分结果；

步骤S14：基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息；

步骤S15：根据关键帧图像对应的机器人定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的机器人位置和姿态进行全局优化，消除长距离运行时机器人定位累积的误差。

3.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S2中，获取环境中障碍物所对应的深度图，还包括以下步骤：

步骤S21:发射红外结构光，采集带有结构光斑点的同步的双目图像，同时采集图像P₂，图像P₂为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；

步骤S22:对双目图形进行矫正，采用基于立体匹配的方法计算深度图，获取深度图中各类障碍物的深度信息。

4.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S3中，获取深度图中所有障碍物的三维位置的方法是：

基于机器人在环境中的定位信息和障碍物在深度图中的深度信息计算障碍物的三维位置。

5.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S4中，识别环境中障碍物对应的语义信息的具体方法如下：

基于深度图提取障碍物，结合图像P₂，通过深度神经网络的方法识别双目图像中各类障碍物的类别标签，从而获取各类障碍物的语义信息。

6.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S5中，构建带语义的场景二维栅格地图，还包括以下步骤：

步骤S51：将扫地机器人运行环境投影至二维平面，对二维平面进行栅格划分；

步骤S52：根据深度图中障碍物的三维位置信息判断障碍物所属栅格，从而判断栅格中是否存在障碍物，获得障碍物语义信息；

步骤S53：根据障碍物语义信息扩展二维栅格地图的语义信息，获得带语义的场景二维栅格地图。