[发明专利]一种驾驶场景的拓扑推理方法、系统、设备及存储介质

权利要求书

1.一种驾驶场景的拓扑推理方法，其特征在于，包括：

基于多视角环视摄像机图像，提取多尺度图像特征；

基于可变形注意力机制，各种类型的实例从所述多尺度图像特征中获取信息，分别得到与所述交通元素、所述车道中心线对应的实例的特征向量；

基于交通元素嵌入网络，得到交通元素实例特征向量的嵌入；并基于场景图神经网络，将所述实例的特征向量、所述交通元素实例特征向量的嵌入通过场景拓扑关系相互交互、交换消息，获取并聚合重要知识，得到不同类别的交通元素实例；

基于场景知识图谱，对不同类别的交通元素实例进行知识提取，得到处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量；

基于处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量，分别预测交通元素、车道中心线以及驾驶场景的拓扑图。

2.根据权利要求1所述的驾驶场景的拓扑推理方法，其特征在于，基于处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量，分别预测交通元素、车道中心线以及驾驶场景的拓扑图，包括：

采用交通元素预测头，预测交通元素的2D边界框以及所述交通元素中各个分类的置信概率；

采用车道中心线预测头，预测车道中心线的有序点集及所述车道中心线的置信概率；

采用拓扑预测头，预测车道间以及车道和交通元素间的拓扑关系。

3.根据权利要求1所述的驾驶场景的拓扑推理方法，其特征在于，采用共享的特征提取器从多视角环视摄像机图像中提取多尺度图像特征；

所述多尺度图像特征包括前视图像特征和鸟瞰图特征；其中，所述鸟瞰图特征由视角转换器构建。

4.根据权利要求1所述的驾驶场景的拓扑推理方法，其特征在于，所述交通元素实例特征向量的嵌入如式(1)所示：

其中，embedding表示权重；i表示第i个解码器层；

基于场景图神经网络，得到不同类别的交通元素实例的计算过程如式(2)所示：

其中，G_ll表示车道间的拓扑图；G_lt表示车道与交通元素间的拓扑图。

5.根据权利要求4所述的驾驶场景的拓扑推理方法，其特征在于，对于车道与交通元素间的拓扑图，得到处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量的运算过程如式(3)所示：

其中，β_lt为决定特征在交通元素和车道中心线间传播强弱的超参数，β_lt＝0.5。

6.根据权利要求4所述的驾驶场景的拓扑推理方法，其特征在于，对于车道间的拓扑图，得到处理后的交通元素实例特征向量以及更新后的车道中心线实例特征向量的计算过程如式(4)所示：

其中，β_lt为决定特征在车道中心线间传播强弱的超参数，β_lt＝0.5。

7.根据权利要求1所述的驾驶场景的拓扑推理方法，其特征在于，所述交通元素嵌入网络包括多层感知机；所述交通元素嵌入网络用于过滤所述交通元素的实例特征向量中的多余2D图像信息，将所述交通元素的实例特征向量包含的交通规则语义信息进行抽象和提取，并将特征空间与所述车道中心线对齐。