[发明专利]一种基于视频流的交通场景理解方法及装置

权利要求书

1.一种基于视频流的交通场景理解方法，其特征在于，包括：

对视频流的多帧图像进行目标检测和语义分割，得到多个目标检测结果和多个语义分割结果；

对所述多个目标检测结果进行融合，得到融合后的目标检测结果，并对所述多个语义分割结果进行融合，得到融合后的语义分割结果；

根据所述融合后的目标检测结果与所述融合后的语义分割结果进行交通场景理解。

2.根据权利要求1所述的方法，其特征在于，对视频流的多帧图像进行目标检测和语义分割，得到多个目标检测结果和多个语义分割结果包括：

分别将所述多帧图像输入到预先训练好的目标卷积神经网络模型中，得到所述目标卷积神经网络模型输出的所述多个目标检测结果和所述多个语义分割结果。

3.根据权利要求2所述的方法，其特征在于，分别将所述多帧图像输入到预先训练好的目标卷积神经网络模型中，得到所述目标卷积神经网络模型输出的所述多个目标检测结果和所述多个语义分割结果包括：

分别将所述多帧图像输入到预先训练好的目标卷积神经网络模型的特征提取网络中，得到所述特征提取网络输出的特征图；

将所述特征图输入到所述目标卷积神经网络模型的金字塔结构中，得到所述金字塔结构输出的金字塔特征图；

根据所述金字塔特征图对目标进行检测，得到所述多个目标检测结果；同时将所述金字塔特征图输入到所述目标卷积神经网络模型的解码器中，得到所述解码器输出的多个分割掩码图，其中，所述多个语义分割结果为所述多个分割掩码图。

4.根据权利要求3所述的方法，其特征在于，将所述金字塔特征图输入到所述目标卷积神经网络模型的解码器中，得到所述解码器输出的多个分割掩码图包括：

分别通过所述解码器获取与所述多帧图像大小相同的解码特征图；

分别通过softmax函数，从所述解码特征图中获取分割掩码图，得到所述多个分割掩码图。

5.根据权利要求1所述的方法，其特征在于，对所述多个目标检测结果进行融合，得到融合后的目标检测结果，并对所述多个语义分割结果进行融合，得到融合后的语义分割结果包括：

分别对所述多个目标检测结果中的动态目标、静态目标进行融合，得到所述融合后的目标检测结果，其中，所述动态目标包括行人、机动车辆与非机动车辆，所述静态目标包括交通标志与路面标志；

对多个分割掩码图中每个位置的像素点对应分割类别的置信度进行累加，得到每个位置对应一个或多个分割类别的总置信度值，其中，所述多个语义分割结果为所述多个分割掩码图；

确定所述每个位置的目标分割类别为所述总置信度值中的最大值对应的分割类别，得到所述融合后的语义分割结果。

6.根据权利要求1至5中任一项所述的方法，其特征在于，根据所述融合后的目标检测结果与所述融合后的语义分割结果进行交通场景理解包括：

根据所述融合后的语义分割结果进行车道线拟合，得到拟合后的车道线和车道面，其中，所述语义分割结果包括一个或多个车道面、多条车道线；

根据所述融合后的目标检测结果、所述拟合后的车道线和车道面进行交通场景理解。

7.根据权利要求6所述的方法，其特征在于，根据所述融合后的目标检测结果、所述拟合后的车道线和车道面进行交通场景理解包括以下至少之一：

根据所述融合后的目标检测结果、所述拟合后的车道线和车道面确定一个或多个车道中目标的通过情况；

根据所述融合后的目标检测结果、所述拟合后的车道线和车道面确定动态目标的车辆运动轨迹，其中，所述融合后的目标检测结果包括动态目标与静态目标；

根据所述融合后的目标检测结果、所述拟合后的车道线和车道面确定动态目标的车辆运动轨迹，并根据多帧图像的车辆运动轨迹确定一个或多个车道的车流方向；

根据所述融合后的目标检测结果、所述拟合后的车道线和车道面确定机动车道与非机动车道。