[发明专利]具有图像语义感知的智慧城市CIM实时成像方法

权利要求书

1.一种具有图像语义感知的智慧城市CIM实时成像方法，其特征在于，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；

步骤2，使用城市各道路摄像头采集城市各道路图像作为样本图像集；

步骤3，对样本集图像中每个车辆进行关键点标注，关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置；对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆关键点热力图；

步骤4，对样本集图像的每一类车辆关键点进行身份标注，生成多通道的身份标注图，同一车辆的车辆关键点身份标注相同；

步骤5，通过样本图像集和标注的标签数据，端到端地训练车辆关键点检测编码器、车辆关键点检测解码器；

步骤6，将摄像头实时采集的图像输入车辆关键点检测编码器、车辆关键点检测解码器中，得到车辆关键点热力图以及身份标注图；

步骤7，计算车头左右车灯位置与车顶前面两个角点相应坐标值差的绝对值，将相应坐标值差的绝对值相加，判断相加结果是否大于设定阈值，如果小于设定阈值，则车头左右车灯位置与车顶前面两个角点形成的第一矩形区域与车顶四个角点形成的第二矩形区域重合；否则，则第一矩形区域与第二矩形区域不重合；以同样的方法判断车位左右车灯位置与车顶后面两个角点形成的第三矩形区域与第二矩形区域是否重合；

步骤8，对第一矩形区域、第二矩形区域、第三矩形区域进行放射变换，得到车辆俯视图像，若第一矩形区域与第二矩形区域重合，则不对第一区域进行仿射变换，若第三矩形区域与第二矩形区域重合，则不对第三矩形区域进行仿射变换；

步骤9，将车辆俯视图像与摄像头采集的背景图进行泊松融合；

步骤10，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，通过WebGIS技术对CIM模型中的多种信息进行可视化。

2.如权利要求1所述的方法，其特征在于，对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆热力图具体为：

对样本图像内所有车辆同一类别的关键点进行高斯核卷积，得到不同类别关键点的热力图；

将所有类别关键点的热力图联合，形成多通道的车辆关键点热力图。

3.如权利要求1所述的方法，其特征在于，所述车辆关键点检测编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为特征图；所述车辆关键点检测解码器是对特征图进行上采样并最终生成车辆关键点热力图及身份标注图，其输入为车辆关键点检测编码器产生的特征图，输出为车辆的关键点热力图及身份标注图。

4.如权利要求1所述的方法，其特征在于，训练车辆关键点检测编码器、车辆关键点检测解码器采用的损失函数Total Loss为：

其中，γ、为权值系数，P_cij代表类别C的车辆关键点在位置(i,j)处的得分，得分越高就越可能是车辆的关键点，y_cij表示真实值热力图位置(i,j)处的值，N表示关键点数量，α、β为超参数，n表示第n个车辆，k表示第k个关键点，X表示真实关键点所在的像素位置，表身份标注真实值，h_k(x_nk,)是预测的身份标注值，δ为人为设定值，n′为除第n个车辆外的其他车辆。

5.如权利要求1所述的方法，其特征在于，固定阈值为60。

6.如权利要求1所述的方法，其特征在于，所述背景图的获得方法为：对摄像头采集的道路图像进行角点检测，进行透视变换，得到俯视视图的背景图。

7.如权利要求1所述的方法，其特征在于，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像具体为：

进行图像配准，采用一定的匹配策略，找出待拼接图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的完整的区域图像。