[发明专利]车辆感知方法、装置、电子设备以及机器可读存储介质

说明书

本发明提供了一种车辆感知方法、装置、电子设备以及机器可读存储介质，包括：获取针对当前自车行进方向的连续多个视频图像帧；根据多个视频图像帧和深度学习网络模型，确定每个时刻的点云图和每个时刻的点云图对应的他车运动参数、自车运动参数以及实例分割图；根据每个时刻的点云图以及对应的实例分割图和他车运动参数，确定每个时刻的点云图对应的第一转换图；根据每个时刻的点云图对应的第一转换图和自车运动参数，确定每个时刻的点云图对应第二转换图；基于每个时刻的点云图对应第二转换图感知预测他车下一时刻的位置信息通过对深度学习网络输出的中间结果进行分析转换，进而提高对前方他车状态感知估计的准确性。

技术领域

本发明涉及车辆驾驶的技术领域，尤其是涉及一种车辆感知方法、装置、电子设备以及机器可读存储介质。

背景技术

在自动驾驶场景中，前方道路会有各种他车车辆行驶，他车状态会对自车的驾驶决策产生影响。为了保证驾驶安全，自动驾驶车辆需要通过控制自身车辆操作如减速、加速超车、或者转弯等等，来避免与这些他车车辆发生摩擦、碰撞的事故，因此，为了实现对自身车辆的准确控制以保证驾驶安全，对他车车辆进行感知是非常重要的。

现有方法中，一般使用机器学习方法、深度学习方法进行图像检测，获得车辆的感知结果，但此类方法受限于深度学习网络模型的训练样本选择，即对于训练样本并不涉及的业务场景，该深度学习方法无法对他车进行准确检测感知，无法保证车辆行驶的安全可靠性。

发明内容

有鉴于此，本发明的目的在于提供一种车辆感知方法、装置、电子设备以及机器可读存储介质，通过对深度学习网络输出的中间结果进行分析转换，进而提高对前方他车状态感知估计的准确性。

第一方面，实施例提供一种车辆感知方法，所述方法包括：

获取针对当前自车行进方向的连续多个视频图像帧；

根据所述多个视频图像帧和深度学习网络模型，确定每个时刻的点云图和所述每个时刻的点云图对应的他车运动参数、自车运动参数以及实例分割图，其中，所述运动参数用于表征所述车辆从前一时刻到当前时刻变化的运动状态，所述实例分割图用于分割出所述每个时刻视频图像帧中他车所在区域；

根据所述每个时刻的点云图以及对应的实例分割图和他车运动参数，确定所述每个时刻的点云图对应的第一转换图，所述第一转换图用于表征他车所在区域内的点云信息在当前时刻相对于自车的位置；

根据所述每个时刻的点云图对应的第一转换图和自车运动参数，确定所述每个时刻的点云图对应第二转换图，所述第二转换图用于表征他车所在区域内的点云信息在当前时刻实际的绝对位置；

基于所述每个时刻的点云图对应第二转换图感知预测所述他车下一时刻的位置信息。

在可选的实施方式中，所述深度学习网络模型包括第一深度学习网络模型和第二深度学习网络模型，根据所述多个视频图像帧和深度学习网络模型，确定每个时刻的点云图和所述每个时刻的点云图对应的他车运动参数、自车运动参数以及实例分割图的步骤，包括：

根据所述多个视频图像帧中的前后相邻的视频图像帧，并结合第一深度学习网络模型和相机内参，确定每个时刻的点云图；

将所述每个时刻的视频图像帧输入第二深度学习网络模型，输出所述每个时刻的视频图像帧对应的他车运动参数、自车运动参数和实例分割图。

在可选的实施方式中，根据所述多个视频图像帧中的前后相邻的视频图像帧，并结合第一深度学习网络模型和相机内参，确定每个时刻的点云图的步骤，包括：

从所述多个视频图像帧中选取T时刻视频图像帧与前一帧的T-1时刻视频图像帧，结合第一深度学习网络模型和相机内参，得到T时刻点云图，重复上述过程，直至每个时刻的视频图像帧都被遍历，其中T为大于1的自然数；