[发明专利]语义地图的生成方法、装置、系统、存储介质及电子设备

权利要求书

1.一种语义地图的生成方法，其特征在于，包括：

对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别；

对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云；

根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。

2.根据权利要求1所述的语义地图的生成方法，其特征在于，所述语义地图的生成方法还包括：

获取通过双目摄像机摄取的原始影像；

其中，对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对包括：

对所述原始影像中包括的多个左右图像进行畸变矫正和/或立体矫正；

根据矫正后的各所述左右图像得到多个立体像对。

3.根据权利要求2所述的语义地图的生成方法，其特征在于，对所述原始影像中包括的多个左右图像进行畸变矫正包括：

利用参数畸变模型对所述原始影像中包括的多个左右图像进行畸变矫正；

其中，所述参数畸变模型中包括多个径向畸变参数以及多个切向畸变参数。

4.根据权利要求2所述的语义地图的生成方法，其特征在于，对所述原始影像中包括的多个左右图像进行立体矫正包括：

利用所述双目摄像机的左右两相机内的第一参数矩阵、第二参数矩阵以及所述左右两相机间的外参数标定矩阵对对所述原始影像中包括的多个左右图像进行立体矫正。

5.根据权利要求1所述的语义地图的生成方法，其特征在于，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图包括：

根据各所述语义类别对应的权重系数、各所述立体像对中左影像与右影像的匹配代价函数以及所述左影像中某一像素点以及与该像素点对应的邻域像素点之间的视差构建能量函数；

根据所述能量函数，对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图。

6.根据权利要求1所述的语义地图的生成方法，其特征在于，根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云包括：

将各所述立体像对的视差图转换为三维点云，并将各所述立体像对对应的语义类别分别赋值给与各所述语义类别对应的三维点；

利用预设的过滤规则对所述三维点进行过滤，并根据过滤后的三维点生成各所述左右图像的单帧语义化稠密点云。

7.根据权利要求1所述的语义地图的生成方法，其特征在于，根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云包括：

根据通过组合惯导坐标系采集到的车辆的轨迹信息生成车辆的全局位姿矩阵；其中，所述组合惯导坐标系为惯性传感器/全球定位系统组合坐标系；

根据双目摄像机中左相机与组合惯导坐标系之间的外参数标定矩阵、所述全局位姿矩阵以及各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云。

8.一种语义地图的生成装置，其特征在于，包括：

图像矫正模块，用于对原始影像中包括的多个左右图像进行图像矫正得到多个立体像对，并对各所述立体像对进行语义分割得到与各所述立体像对对应的语义类别；

立体匹配模块，用于对各所述立体像对以及与各所述立体像对对应的语义类别进行立体匹配，得到各所述立体像对的视差图，并根据各所述立体像对的视差图生成各所述左右图像的单帧语义化稠密点云；

语义地图生成模块，用于根据各所述单帧语义化稠密点云生成所述原始影像的全局语义化稠密点云，并根据所述全局语义化稠密点云生成所述语义地图。