[发明专利]具有图像语义感知的智慧城市CIM实时成像方法

说明书

本发明公开了一种具有图像语义感知的智慧城市CIM实时成像方法。该方法包括：构建三维数字空间的城市信息模型；对样本集图像中每个车辆进行关键点标注、身份标注，训练车辆关键点检测编码器、解码器；将摄像头实时采集的图像输入车辆关键点检测编码器、解码器中，得到车辆关键点热力图以及身份标注图；判断车辆矩形区域是否重合并根据判断结果进行仿射变换；将车辆俯视图像与摄像头采集的背景图进行泊松融合；将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，对CIM模型多种信息进行可视化。实现了实时的智慧城市道路车辆成像，不仅鲁棒性好、计算量低，而且所得实时成像结果质量更高，可视化效果更好。

技术领域

本发明涉及人工智能、智慧城市、CIM技术领域，具体涉及一种具有图像语义感知的智慧城市CIM实时成像方法。

背景技术

当前，全球信息技术呈加速发展趋势，信息技术在国民经济中的地位日益突出，建设智慧城市对于一个国家综合竞争力的全面提高具有重要的战略意义。

智慧城市的产生源自物联网、云计算、移动互联网、人工智能为代表的新一代信息技术与知识社会环境下逐步孕育的开放的城市创新生态。智慧城市强调的是利用新一代信息技术和各类通信终端融合，实现城市智慧式管理和运行。

目前在城市成像方面，都是在3D模型上自行绘制纹理贴图或将拍摄的图片赋予模型，都需要人为操作，不具实时性，且生产周期长。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种具有图像语义感知的智慧城市CIM实时成像方法，实现了实时的智慧城市道路车辆成像，不仅鲁棒性好、计算量低，而且所得实时成像结果质量更高，可视化效果更好。

一种具有图像语义感知的智慧城市CIM实时成像方法，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建三维数字空间的城市信息模型；

步骤2，使用城市各道路摄像头采集城市各道路图像作为样本图像集；

步骤3，对样本集图像中每个车辆进行关键点标注，关键点包括车头左右车灯位置，车顶四个角点，车尾左右车灯位置；对样本集图像内的所有车辆的关键点进行高斯核卷积，生成车辆关键点热力图；

步骤4，对样本集图像的每一类车辆关键点进行身份标注，生成多通道的身份标注图，同一车辆的车辆关键点身份标注相同；

步骤5，通过样本图像集和标注的标签数据，端到端地训练车辆关键点检测编码器、车辆关键点检测解码器；

步骤6，将摄像头实时采集的图像输入车辆关键点检测编码器、车辆关键点检测解码器中，得到车辆关键点热力图以及身份标注图；

步骤7，计算车头左右车灯位置与车顶前面两个角点相应坐标值差的绝对值，将相应坐标值差的绝对值相加，判断相加结果是否大于设定阈值，如果小于设定阈值，则车头左右车灯位置与车顶前面两个角点形成的第一矩形区域与车顶四个角点形成的第二矩形区域重合；否则，则第一矩形区域与第二矩形区域不重合；以同样的方法判断车位左右车灯位置与车顶后面两个角点形成的第三矩形区域与第二矩形区域是否重合；

步骤8，对第一矩形区域、第二矩形区域、第三矩形区域进行放射变换，得到车辆俯视图像，若第一矩形区域与第二矩形区域重合，则不对第一区域进行仿射变换，若第三矩形区域与第二矩形区域重合，则不对第三矩形区域进行仿射变换；

步骤9，将车辆俯视图像与摄像头采集的背景图进行泊松融合；

步骤10，将各个道路摄像机泊松融合的结果进行图像拼接形成完整的区域图像，并投影到CIM中，通过WebGIS技术对CIM模型中的多种信息进行可视化。