[发明专利]语义分割、环境感知方法、装置和无人车

说明书

本公开提出了一种语义分割、环境感知方法、装置和无人车，涉及计算机视觉技术领域。其中，语义分割方法包括：根据点云数据生成二维图像；基于第一神经网络模型对所述二维图像进行语义分割处理，以得到所述二维图像对应的语义分割结果；根据所述二维图像对应的语义分割结果、以及所述点云数据，生成点云特征图；基于第二神经网络模型对所述点云特征图进行语义分割处理，以得到所述点云数据的语义标签信息。通过以上步骤，能够在保持点云语义分割结果准确性的同时，提高点云语义分割处理的实时性。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及无人驾驶领域，特别涉及一种语义分割、环境感知方法、装置和无人车。

背景技术

目前，无人驾驶设备用于将人或者物从一个位置自动运送到另一个位置，无人驾驶设备通过设备上的传感器采集环境信息并完成自动运送。基于无人驾驶技术控制的无人配送车进行物流运输极大地提高了生产生活的便捷性，节约了人力成本。

三维环境感知技术是自动驾驶技术体系中的核心方法之一。该感知技术负责识别自动驾驶车辆周围的行人、车辆以及其他动、静态元素，以提供全面的环境信息给下游的控制系统，进而规划行车路线、规避静态障碍物和动态的行人、车辆等。在三维环境感知技术体系中，基于激光雷达的三维语义分割方法，其目标是识别出激光雷达扫描出的三维场景点云中各元素的语义类别，是整个三维环境感知技术体系中的一项基础任务。

发明内容

本公开要解决的一个技术问题是，提供一种语义分割、环境感知方法、装置和无人车。

根据本公开的第一方面，提出了一种语义分割方法，包括：根据点云数据生成二维图像；基于第一神经网络模型对所述二维图像进行语义分割处理，以得到所述二维图像对应的语义分割结果；根据所述二维图像对应的语义分割结果、以及所述点云数据，生成点云特征图；基于第二神经网络模型对所述点云特征图进行语义分割处理，以得到所述点云数据的语义标签信息。

在一些实施例中，所述二维图像为深度图，所述根据点云数据生成二维图像包括：确定所述点云数据在球面坐标系下的二维转换坐标，其中，所述二维转换坐标包括偏航角和俯仰角；根据所述二维转换坐标，将所述点云数据分配到多个网格中；根据每个网格中的点云点，确定每个网格的特征；根据所有网格的特征，构建所述深度图。

在一些实施例中，所述二维图像对应的语义分割结果包括所述二维图像中每个点对应的语义标签信息和所述二维图像中每个点对应的特征表示，所述根据所述二维图像对应的语义分割结果、以及所述点云数据，生成点云特征图包括：确定所述点云数据中与所述二维图像中的每个点匹配的点云点；将所述二维图像中每个点对应的语义标签信息和所述二维图像中每个点对应的特征表示、以及所述匹配的点云点的坐标进行拼接，以得到所述二维图像中每个点对应的拼接后的特征表示；根据所述二维图像中每个点对应的拼接后的特征表示，构建所述点云特征图。

在一些实施例中，基于第一神经网络模型对所述二维图像进行语义分割处理，以得到所述二维图像对应的语义分割结果包括：基于编码器模块对所述二维图像进行特征提取，并将得到的特征图输出至解码器模块；基于所述解码器模块对所述特征图进行解码，以得到所述二维图像对应的语义分割结果。

在一些实施例中，所述基于编码器模块对所述二维图像进行特征提取，并将得到的特征图输出至解码器模块包括：基于第一编码单元对所述二维图像进行特征提取，并将第一编码单元提取得到的特征图输出至第二编码单元和所述解码器模块；基于第二编码单元对所述第一编码单元输出的特征图进行特征提取，并将第二编码单元提取得到的特征图输出至所述解码器模块，其中，所述第一编码单元与所述第二编码单元的结构不同。

在一些实施例中，所述第一编码单元和所述第二编码单元中的至少一个包括多个卷积层，所述多个卷积层中的至少一个使用长条形卷积核。

在一些实施例中，所述第一编码单元包括从输入侧到输出侧依次设置的第一至第三卷积层，其中，第一和第三卷积层使用方形的卷积核，第二卷积层使用长条形卷积核。