[发明专利]一种语义栅格地图生成方法及其装置

权利要求书

1.一种语义栅格地图生成方法，其特征在于，该方法包括以下步骤：

通过视觉传感器获取环境的图像数据，通过激光雷达传感器获取环境的2D扫描数据；

将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据；

将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图；

所述将获取的图像数据和2D扫描数据进行融合，生成语义扫描数据的步骤包括：

对激光雷达传感器获取的2D扫描数据进行粒子群聚类；

对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签；

将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系；

根据所述图像数据和2D扫描数据的对应关系，将所述图像数据的物体检测结果与聚类后的2D扫描数据进行融合，生成语义扫描数据；

在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：检测视觉传感器获取的图像数据，给出检测出的物体的所有可能的语义标签，以及每一个可能的语义标签的概率；

在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，根据所述图像数据和2D扫描数据的对应关系，将所述所有可能的语义标签及相应的概率投影到2D扫描数据中进行融合，生成带有物体概率标签的语义扫描数据；

所述将生成的语义扫描数据与环境的格栅地图进行融合，生成语义格栅地图的步骤包括：

对所述带有物体概率标签的语义扫描数据进行预处理，从所述语义扫描数据中提取原始2D扫描数据和基于视觉传感器视角的语义扫描数据，所述基于视觉传感器视角的语义扫描数据保留物体概率标签；

对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息；

根据所述移动轨迹以及定位信息，将所述提取的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，生成语义格栅地图。

2.根据权利要求1所述的方法，其特征在于，所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签，包括：对2D扫描数据的粒子群聚类通过物理位置信息，将相近的同一簇点云标记为一类。

3.根据权利要求1所述的方法，其特征在于，在所述对视觉传感器获取的图像数据进行物体检测，为图像数据中的物体加上语义标签的步骤中，对图像数据的物体检测方法使用基于深度学习的检测和分类方法，为图像数据中的物体加上语义标签。

4.根据权利要求1所述的方法，其特征在于，在所述将获取的图像数据和2D扫描数据对齐，建立图像数据和2D扫描数据的对应关系的步骤中，所述将获取的图像数据和2D扫描数据对齐，是根据事先测定好的激光雷达传感器和视觉传感器的安装位置的相对关系，进行图像数据和2D扫描数据的对齐。

5.根据权利要求1所述的方法，其特征在于，所述提取的基于视觉传感器视角的语义扫描数据存储在移动机器人移动的轨迹节点上，当生成语义栅格地图时，将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合。

6.根据权利要求1所述的方法，其特征在于，所述对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息，包括：利用基于激光雷达传感器的并发定位和建图算法，对提取的原始2D扫描数据进行处理，获取移动机器人的移动轨迹以及定位信息。

7.根据权利要求5所述的方法，其特征在于，所述将移动轨迹上在所有轨迹节点存储的基于视觉传感器视角的语义扫描数据与格栅地图进行融合，包括：计算地图格栅中的每个格栅对应的最大概率的语义标签，将每个格栅对应的最大概率的语义标签与格栅地图中的相应格栅进行融合，生成所述语义格栅地图。