[发明专利]栅格检测跟踪框架构建环境语义占据与速度场方法及系统

说明书

本发明涉及一种栅格检测跟踪框架构建环境语义占据与速度场方法及系统，包括：通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。

技术领域

本发明涉及一种自动驾驶领域，特别是关于一种利用计算机视觉与概率推理理论，实现栅格级检测与跟踪框架构建环境的语义占据与速度场的方法及系统。

背景技术

占据栅格图(OGM)是机器人和自动驾驶领域的一种重要的环境表达形式。通过传感器原始数据描述环境被各种物体的占用率，车辆可以避免与障碍物发生碰撞。栅格地图的主要优点是完全表达感知数据和场景，可以分析感知范围与不确定性，同时通常用作强大的多传感器融合框架。与室内机器人不同，自动驾驶汽车通常在高度动态的交通环境中运行，需要分辨出障碍物的速度，因此产生了动态占据栅格地图(DOGM)技术，主要用蒙特卡洛方法用随机粒子建模栅格速度并通过贝叶斯推断进行粒子筛选并最终得到栅格速度，然而对于大量的数据需要非常大量的粒子数，运行时间很长，同时速度准确率低。

场景流是一种表示图像或点云中每个点在三维空间中前后两帧之间变化的技术。该技术的主要困难在于使用图像数据的方法难以估计标准三维空间中的运动，点云数据的方法则面临目前没有带注释的真实数据的困难。前序研究使用了一些模拟数据或人工生成的数据。场景流计算过程缓慢，不能满足自动驾驶实时运行的要求。联合分割和运动预测是一种在栅格级别上联合估计语义和运动特征的新任务，可以视为是鸟瞰图下栅格化场景流技术或基于网格的检测技术，后续研究中Pillar-Motion同时引入了使用图像光流的点云学习的自监督校正和优化。这一类方法的速度估计一般由前序数帧数据端到端的预测，而不是前后帧的关联形成跟踪关系，速度与语义时序不连续，影响了栅格环境的连续理解。

点云的语义分割是指给点云中的每个点赋予特定的语义标签，也可以推广到对实例分割和全景分割，是针对激光雷达点云实现完全的环境理解的一种重要方法，工程上逐帧的点云标注成本很高，算法难点是点云数据无序，室外场景稀疏且疏密度与距离相关，不规则。图像的鸟瞰图语义分割用于分割鸟瞰下的运动物体和静态元素。与传统的图像视图分割任务相比，目标检测的标注可以重复用于训练动态目标分割，而高精度地图可以直接用于训练静态元素分割。相应地，增加的难度是需要一个视图融合模块将来自多个摄像头的信息融合到鸟瞰图空间，两种传感器与相关技术的语义鸟瞰图均能达到较好的单帧效果，但是缺乏速度估计，对于环境认知与风险评估缺失必要的速度场信息，不能直接用于可行驶区域认知模块。

发明内容

针对上述问题，本发明的目的是提供一种栅格检测跟踪框架构建环境语义占据与速度场方法及系统，其能提高栅格各个单独属性的连续性和准确率。

为实现上述目的，第一方面，本发明采取的技术方案为：一种栅格检测跟踪框架构建环境语义占据与速度场方法，其包括：通过多种车载异构传感器，由神经网络的深度学习获取环境的完全语义分割地图；在完全语义分割地图上进行栅格级跟踪，给定上游模块生成的细粒度语义鸟瞰图，对每个栅格的占据和速度进行建模，并将粒子分配到栅格中，进行粒子的更新；进行栅格级后融合，将细粒度的语义和速度信息融合，通过环境中每个栅格的语义，占据和速度的属性全面理解，形成增强的可行驶空间认知。

进一步，多种车载异构传感器包括：毫米波雷达的点云通过传感器逆映射器形成栅格的速度先验，补充栅格跟踪滤波器在观测中的速度辅助信息；由高线数激光雷达输出稠密的点云信息，以对场景的无盲区完全理解；将车载多相机进行环视的安装，并进行深度估计，通过视角转换在鸟瞰图上分割物体和地面形成语义栅格，以对360°场景完全理解。

进一步，在完全语义分割地图上进行栅格级跟踪，包括：

将原始信息旋转到对齐大地坐标系，栅格和粒子不需要旋转操作；