[发明专利]基于人工智能及图像处理的市政CIM环卫工作分配方法

权利要求书

1.一种基于人工智能及图像处理的市政CIM环卫工作分配方法，其特征在于，该方法包括：

步骤一，结合城市建筑信息、道路信息，建立三维城市空间模型，构建城市信息模型，并在城市信息模型中集成环卫工作信息；

步骤二，将环卫工作区域信息、环卫工作区域内垃圾桶信息与负责人匹配，并将匹配后的信息集成到城市信息模型；

步骤三，各个摄像头对监控子区域进行图像采集；根据相机像平面与城市信息模型地面二维平面之间角点的对应点对，通过SVD算法得到两个平面之间投影变换的单应性矩阵，通过单应性矩阵将像平面的点投影到与城市信息模型地面平行的复合全景平面上；对投影变换后的图像进行图像拼接操作，并集成到城市信息模型中，结合WebGIS技术对城市信息模型进行可视化；

步骤四，将监控垃圾桶的摄像头采集的图像作为输入，送入行人检测编码器、行人检测解码器进行分析，得到行人检测热力图；对行人检测热力图进行坐标回归，并将得到的关键点坐标投影到城市信息模型地面坐标系中；根据城市信息模型中垃圾桶的地面坐标生成ROI；对每一帧图像进行ROI内关键点坐标个数统计，送入寄存器作累加运算；设定阈值，当寄存器中的数值大于阈值时，输出清理垃圾桶的提示信息；

将各个子区域采集的图像作为输入，送入垃圾检测编码器、垃圾检测解码器进行分析，得到地面垃圾检测语义分割图；设定阈值，对地面垃圾检测语义分割图中属于垃圾的像素点数目进行统计，当统计值大于阈值时，输出清理地面垃圾的提示信息；

步骤五，根据提示信息中包含的位置信息，查询城市信息模型中环卫工作区域信息、环卫工作区域内垃圾桶信息与负责人的匹配关系，向负责人发出相应的提示信息。

2.如权利要求1所述的方法，其特征在于，行人检测编码器对垃圾桶图像进行特征提取，输出特征图；

行人检测解码器，对特征图进行卷积解码，输出行人检测热力图，行人检测热力图中热斑表征行人关键点位置的置信度。

3.如权利要求2所述的方法，其特征在于，垃圾检测编码器对监控子区域图像进行特征提取，输出特征图；

垃圾检测分割解码器对特征图进行解码表征，输出地面垃圾检测语义分割图，地面垃圾检测语义分割图用于区分垃圾与其他无关元素的语义。

4.如权利要求1或2所述的方法，其特征在于，该方法还包括对行人检测编码器、行人检测解码器进行训练，训练方法如下：采集行人图像构建样本数据集，随机选择其中的80％作为训练集，剩下的20％作为验证集；对数据集进行特征标注，对行人两脚中心在地面投影的一个点进行高斯模糊生成热斑标注；采用均方差损失函数，随机梯度下降法进行训练。

5.如权利要求1或3所述的方法，其特征在于，该方法还包括对垃圾检测编码器、垃圾检测解码器进行训练，训练方法如下：以区域内存在垃圾的图像作为样本数据集，构建数据集时应确保垃圾种类的多样化，垃圾包括果皮、纸屑、烟头、塑料袋；随机选择其中的80％作为训练集，剩下的20％作为验证集；对数据集进行特征标注，标注为两个类别：垃圾和其他无关项；采用交叉熵损失函数，随机梯度下降法对分支进行训练。

6.如权利要求1所述的方法，其特征在于，所述对投影变换后的图像进行图像拼接操作，并集成到城市信息模型包括：

对投影变换后的待拼接监控子区域图像进行图像校正、噪声抑制；提取待拼接监控子区域图像的特征点，进行特征点的匹配；根据匹配点对进行单应性矩阵的估计，通过RANSAC方法估算单应性矩阵，将待拼接图像转换到同一坐标下；将所有输入图像变形到复合全景平面上，计算输入图像的变形图像的坐标范围，得到输出图像的大小，计算源图像原点与输出全景图原点的偏移量，将每个输入源图像的像素映射到输出平面上；进行图像融合，得到图像拼接结果，集成到城市信息模型中。