[发明专利]一种用于道路智能清扫的路面垃圾感知方法

权利要求书

1.一种用于道路智能清扫的路面垃圾感知方法，其特征在于包括：

建立了并标注垃圾图像数据库；

采用数据增强方法包括图像的几何变换，颜色变换；图像的随机缩放裁剪和排布；利用生成对抗网络扩充数据域；

采用目标检测与密度估计联合感知，对路面上存在的大垃圾和小垃圾进行定位和识别；

其中大垃圾的目标检测网络是Yolov3框架；其采用darknet53作为特征提取网络；

用于密集小垃圾感知的密度估计神经网络的框架结构：采用的是MCNN框架，其包括三列卷积神经网络；池化层为2x2的最大池化，激活函数为ReLU；最后各列输出的结果合并到一起，并使用1x1的卷积核转换成最终的密度图像得到图像中密集小垃圾的密度图；

通过目标检测得到垃圾的矩形框和标签后，将矩形框转换为密度图的形式，并根据不同的标签赋值不同的密度权重；将以上转换得到的密度图与密度估计算法生成的密度图进行融合，得到最终的路面垃圾密度图像，使所述密度图像的局部最大值中心作为清扫车候选清扫点；

计算出候选清扫点，输入路径规划模块。

2.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于：对每张图像中的目标都做标注，有两种标注格式，一种是用于垃圾目标检测的矩形框标注格式；另一种是用于垃圾密度估计的点标注格式。

3.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于：数据增强算法，

(1)几何变换上的增强方法，包括图像翻转，图像旋转，图像缩放；

(2)颜色变换上的增强方法，包括添加噪声，颜色扰动，图像模糊；

(3)采用Mosaic数据增强方法，随机选取图片，进行随机缩放，裁剪和排布，最终拼接为1张图像；

(4)采用了基于GAN生成对抗网络的数据增强方法；包括一个生成器和一个判别器；生成器负责生成伪图像，而判别器负责鉴别图像真假。

4.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于，建立路面分割神经网络的框架结构，采用的是yolact框架结构。

5.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于，垃圾目标检测网络模型的训练：

搭建好神经网络结构之后在数据集上对网络模型进行训练，采用迁移学习的方法对模型进行训练；先在COCO数据集上预训练通用目标检测模型，然后在垃圾数据集上进行微调，最终得到垃圾检测模型。

6.根据权利要求5所述的用于道路智能清扫的路面垃圾感知方法，其特征在于，还采用了交叉验证的方式对模型进行训练，过程如下：

(1)假设现在有n张图片组成的训练数据集，将其等分为m份；

(2)每次取出1份数据作为验证集的唯一元素，而其他m-1份数据都作为训练集用于训练模型和调参；

(3)最终训练得到了m个模型，在每次训练过程中用验证集对每个模型进行评估，每次都能得到一个MSE，最终将所有得到的MSE取平均，得到该种模型的评分；

MSE具体计算公式如下：

(4)通过每种模型的评分高低，选择最优模型的超参数作为最终的超参数设置。

7.根据权利要求6所述的用于道路智能清扫的路面垃圾感知方法，其特征在于，在训练过程中，采用DIOU_Loss作为垃圾检测网络的训练损失；其计算公式如下：