[发明专利]基于车辆语义感知的智慧城市视频自适应HDR控制方法

权利要求书

1.一种基于车辆语义感知的智慧城市视频自适应HDR控制方法，其特征在于，该方法包括：

(1)结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型；

(2)将摄像头实时采集的道路子区域图像输入车辆检测编码器、车辆检测解码器进行分析，得到车辆中心点热力图以及车辆包围框宽、高；

(3)计算当前帧道路子区域图像车辆包围框与前一帧道路子区域图像车辆包围框的IoU，根据计算结果设置匹配权重，通过KM算法得到当前帧车辆包围框集合与前一帧车辆包围框集合的最优匹配解；

(4)根据最优匹配解，将当前帧车辆包围框中心点匹配至对应车辆的中心点集，得到相应车辆的新的中心点集；

(5)根据车辆的中心点集，通过曲线拟合得到对应车辆的行驶轨迹，将车辆行驶轨迹发送至城市信息模型；

(6)根据车辆行驶轨迹，结合城市信息模型计算车辆实时车速，判断是否存在超速行驶的车辆，根据超速判断结果调节摄像头HDR模式的开关；根据车辆行驶轨迹，结合城市信息模型计算车辆实时车速具体为：取连续时间序列道路子区域图像中的任意两帧，已知相机刷新率可得两帧之间的时间间隔；将两帧图像中车辆行驶轨迹点投影到城市信息模型地面平面，得到车辆行驶轨迹点在城市信息模型的坐标；根据坐标计算两帧之间的车辆位置偏移量；将车辆位置偏移量除以时间间隔得到车辆实时车速；

(7)各个摄像头对道路子区域进行图像采集；根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上；对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，结合WebGIS技术对城市信息模型进行可视化。

2.如权利要求1所述的方法，其特征在于，所述车辆检测编码器对道路子区域图像进行特征提取，输出特征图；

所述车辆中心点检测解码器，对特征图进行卷积解码，输出车辆中心点热力图以及包围框宽高，车辆中心点热力图中热斑表征车辆中心点位置的置信度。

3.如权利要求1或2所述的方法，其特征在于，该方法还包括对车辆检测编码器、车辆检测解码器进行训练，训练方法如下：选择各类工况下采集道路车辆情况的图像作为训练集，标注图像中的车辆中心点，对车辆中心点通过高斯模糊生产热斑，并标注车辆包围框尺寸；基于设计的损失函数进行训练。

4.如权利要求3所述的方法，其特征在于，设计的损失函数L_det为：

L_det＝L_k+ω_sizeL_size

其中，ω_size为权重系数，N为图像中关键点个数，x、y为像素点坐标，c为类别，Y为真值热力图，Y’为预测热力图，α，β为超参数；k表示第k个车辆目标，S′_pk为车辆包围框尺寸预测值，s_k为车辆包围框尺寸真实值。

5.如权利要求1所述的方法，其特征在于，(3)中通过KM算法得到当前帧车辆包围框集合与前一帧车辆包围框集合的最优匹配解包括：

若前一帧的图像处理后有s个包围框，当前帧的图像处理后有s个包围框，通过KM算法即可得到每个当前帧包围框匹配一个前一帧包围框的最优解；若前一帧图像处理后有s个包围框，当前帧的图像处理后有s-a或s+a个包围框，对前一帧与当前帧中包围框较多的帧，计算包围框到图像边缘的距离，利用top-k方法，得到距离图像边缘最近的a个包围框，将其剔除后再进行KM算法的匹配，得到最优匹配解。

6.如权利要求1所述的方法，其特征在于，(6)中根据车辆行驶轨迹，结合城市信息模型计算车辆实时车速具体为：

在城市信息模型地面坐标系中设置两个垂直于车道方向的基准线，记录车辆通过两个基准线对应的道路子区域图像，计算两帧图像间隔的帧数，结合实时的相机刷新率得到两帧图像的时间间隔，用基准线距离除以时间间隔得到车辆实时车速。