[发明专利]语义分割、环境感知方法、装置和无人车

权利要求书

1.一种语义分割方法，包括：

根据点云数据生成二维图像；

基于第一神经网络模型对所述二维图像进行语义分割处理，以得到所述二维图像对应的语义分割结果；

根据所述二维图像对应的语义分割结果、以及所述点云数据，生成点云特征图；

基于第二神经网络模型对所述点云特征图进行语义分割处理，以得到所述点云数据的语义标签信息。

2.根据权利要求1所述的语义分割方法，其中，所述二维图像为深度图，所述根据点云数据生成二维图像包括：

确定所述点云数据在球面坐标系下的二维转换坐标，其中，所述二维转换坐标包括偏航角和俯仰角；

根据所述二维转换坐标，将所述点云数据分配到多个网格中；

根据每个网格中的点云点，确定每个网格的特征；

根据所有网格的特征，构建所述深度图。

3.根据权利要求1所述的语义分割方法，其中，所述二维图像对应的语义分割结果包括所述二维图像中每个点对应的语义标签信息和所述二维图像中每个点对应的特征表示，所述根据所述二维图像对应的语义分割结果、以及所述点云数据，生成点云特征图包括：

确定所述点云数据中与所述二维图像中的每个点匹配的点云点；

将所述二维图像中每个点对应的语义标签信息和所述二维图像中每个点对应的特征表示、以及所述匹配的点云点的坐标进行拼接，以得到所述二维图像中每个点对应的拼接后的特征表示；

根据所述二维图像中每个点对应的拼接后的特征表示，构建所述点云特征图。

4.根据权利要求1所述的语义分割方法，其中，基于第一神经网络模型对所述二维图像进行语义分割处理，以得到所述二维图像对应的语义分割结果包括：

基于编码器模块对所述二维图像进行特征提取，并将得到的特征图输出至解码器模块；

基于所述解码器模块对所述特征图进行解码，以得到所述二维图像对应的语义分割结果。

5.根据权利要求4所述的语义分割方法，其中，所述基于编码器模块对所述二维图像进行特征提取，并将得到的特征图输出至解码器模块包括：

基于第一编码单元对所述二维图像进行特征提取，并将第一编码单元得到的特征图输出至第二编码单元和所述解码器模块；

基于第二编码单元对所述第一编码单元输出的特征图进行特征提取，并将第二编码单元得到的特征图输出至所述解码器模块，其中，所述第一编码单元与所述第二编码单元的结构不同。

6.根据权利要求5所述的语义分割方法，其中，所述第一编码单元和所述第二编码单元中的至少一个包括多个卷积层，所述多个卷积层中的至少一个使用长条形卷积核。

7.根据权利要求6所述的语义分割方法，其中，所述第一编码单元包括从输入侧到输出侧依次设置的第一至第三卷积层，其中，第一和第三卷积层使用方形的卷积核，第二卷积层使用长条形卷积核。

8.根据权利要求4所述的语义分割方法，其中，所述解码器模块包括从输入侧到输出侧依次设置的多个解码单元、以及语义标签分类层，所述解码单元包括上采样层和多个卷积层。

9.根据权利要求1所述的语义分割方法，其中，所述第二神经网络模型包括多个卷积层、以及语义标签分类层，其中，所述卷积层采用1*1卷积核。

10.一种环境感知方法，包括：

获取无人车采集的点云数据；

根据权利要求1-9任一所述的语义分割方法确定所述点云数据的语义标签信息；

根据所述点云数据的语义标签信息确定所述无人车所处的环境信息。