[发明专利]一种驾驶场景的拓扑推理方法、系统、设备及存储介质

说明书

本申请实施例涉及自动驾驶技术领域，特别涉及一种驾驶场景的拓扑推理方法、系统、设备及存储介质，该方法包括：提取多尺度图像特征；各种类型的实例从多尺度图像特征中获取信息，分别得到与交通元素、车道中心线对应的实例的特征向量；得到交通元素实例特征向量的嵌入，将实例特征向量、交通元素实例特征向量的嵌入通过场景拓扑关系相互交互、交换消息，获取并聚合重要知识；基于场景知识图谱，对不同类别的交通元素实例进行知识提取，分别预测交通元素、车道中心线以及驾驶场景的拓扑图。本申请通过提出拓扑推理网络，通过预测驾驶场景中的实例(车道、交通元素)以及实例间关系来生成高质量驾驶场景拓扑，以端到端的方式预测驾驶场景拓扑。

技术领域

本申请实施例涉及自动驾驶技术领域，特别涉及一种驾驶场景的拓扑推理方法、系统、设备及存储介质。

背景技术

驾驶系统是一个复杂的多模块协作系统，理解驾驶场景的拓扑结构对于实现自动驾驶至关重要。驾驶场景拓扑包含两个方面：一是车道之间的连接关系，二是车道与交通元素(交通灯、道路标识等)之间的匹配关系。现有的自动驾驶系统高度依赖于预先生成的高精地图，以获取驾驶场景拓扑结构，在高精地图缺失时，能完整地对驾驶场景拓扑结构进行认知的端到端学习方法还亟待探索。

现有的高精地图学习技术，虽然可以预测部分高精地图元素(包括车道分割线、道路边缘以及人行横道)的空间坐标表示，但是，通过高精地图元素推导出车道连接关系及道路拓扑需要复杂的后处理流程。此外，交通元素到车道分配问题多在单视角图像域上进行，如何在单目图像上的交通元素和环视3D坐标系下的车道中心线之间构建关系，仍是一个具有挑战性的难题。

发明内容

本申请实施例提供一种驾驶场景的拓扑推理方法、系统、设备及存储介质，通过提出拓扑推理网络，通过预测驾驶场景中的实例(车道、交通元素)以及实例间的关系来生成高质量的驾驶场景拓扑，以端到端的方式预测驾驶场景拓扑。

为解决上述技术问题，第一方面，本申请实施例提供一种驾驶场景的拓扑推理方法，包括以下步骤：基于多视角环视摄像机图像，提取多尺度图像特征；基于可变形注意力机制，各种类型的实例从多尺度图像特征中获取信息，分别得到与交通元素、车道中心线对应的实例的特征向量；基于交通元素嵌入网络，得到交通元素实例特征向量的嵌入；并基于场景图神经网络，将实例的特征向量、交通元素实例特征向量的嵌入通过场景拓扑关系相互交互、交换消息，获取并聚合重要知识，得到不同类别的交通元素实例；基于场景知识图谱，对不同类别的交通元素实例进行知识提取，得到处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量；基于处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量，分别预测交通元素、车道中心线以及驾驶场景的拓扑图。

在一些示例性实施例中，基于处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量，分别预测交通元素、车道中心线以及驾驶场景的拓扑图，包括：采用交通元素预测头，预测交通元素的2D边界框以及交通元素中各个分类的置信概率；采用车道中心线预测头，预测车道中心线的有序点集及车道中心线的置信概率；采用拓扑预测头，预测车道间以及车道和交通元素间的拓扑关系。

在一些示例性实施例中，采用共享的特征提取器从多视角环视摄像机图像中提取多尺度图像特征；多尺度图像特征包括前视图像特征和鸟瞰图特征；其中，鸟瞰图特征由视角转换器构建。

在一些示例性实施例中，交通元素实例特征向量的嵌入如式(1)所示：

其中，embedding表示权重；i表示第i个解码器层；

基于场景图神经网络，得到不同类别的交通元素实例的计算过程如式(2)所示：