[发明专利]一种用于道路智能清扫的路面垃圾感知方法

说明书

本发明公开了一种用于道路智能清扫的路面垃圾感知方法，包括建立了并标注垃圾图像数据库；采用数据增强方法包括图像的几何变换，颜色变换；图像的随机缩放裁剪和排布；利用生成对抗网络扩充数据域；采用目标检测与密度估计联合感知，路面上存在的大垃圾和小垃圾进行定位和识别；通过目标检测得到垃圾的矩形框和标签后，将矩形框转为密度图的形式，并根据不同的标签赋值不同的密度权重；将以上转换得到的密度图与密度估计算法生成的密度图向结合得到最终的路面垃圾密度图像；计算出候选清扫点，输入路径规划模块。本发明基于上述得到的垃圾分布信息，输入路径规划模块，调整行驶路径，实现清扫车智能清扫，具有很高的实用价值。

技术领域

本发明涉及人工智能领域，尤其涉及一种用于道路智能清扫的路面垃圾感知方法。

背景技术

A:张鹏程.一种融合移动边缘计算和深度学习的城市街道垃圾检测和清洁度评估方法。采用Faster R-CNN目标检测网络实现对路面垃圾的检测。可检测的垃圾类别包括：废纸，塑料袋，塑料瓶，易拉罐等。但是对于树叶，树枝，烟头等密集小垃圾无法有效检测。且训练样本较少，仅采用321张垃圾图像作为训练数据集，无法使网络模型得到充分的学习。

B:Mohammad Saeed Rad.A Computer Vision System to Localize andClassify Wastes on the Streets。采用基于深度卷积的目标检测网络实现对路面小垃圾的检测和识别，包括树叶，烟头和树叶堆等。对稀疏的小目标有较好的效果，但是当目标高度重叠时无法有效感知。且算法对图像分辨率要求较高，当图像分辨率较低时无法有效的检测，而高分辨率图像会很大影响算法的实时性。同时为了消除相机的透视变换带来的目标尺度变化，摄像头安装时成像平面要求与地面平行，这也为垃圾检测工作带来了一定的复杂度。

由于小垃圾所占像信息较少，高度重叠后外观特征变化大，A,B所采用的常规目标检测模型无法对密集小垃圾有效的检测，且用于模型训练的垃圾数据较少，模型无法得到充分的学习，这也不利于路面垃圾的检测。

发明内容

1、本发明的目的

本发明为了提高小垃圾的检测准确率和有效性，而提出了一种用于道路智能清扫的路面垃圾感知方法。

2、本发明所采用的技术方案

本发明公开了一种用于道路智能清扫的路面垃圾感知方法，包括：

建立了并标注垃圾图像数据库；

采用数据增强方法包括图像的几何变换，颜色变换；图像的随机缩放裁剪和排布；利用生成对抗网络扩充数据域；

采用目标检测与密度估计联合感知，路面上存在的大垃圾和小垃圾进行定位和识别；

通过目标检测得到垃圾的矩形框和标签后，将矩形框转为密度图的形式，并根据不同的标签赋值不同的密度权重；将以上转换得到的密度图与密度估计算法生成的密度图向结合得到最终的路面垃圾密度图像；

计算出候选清扫点，输入路径规划模块。

优选的，对每张图像中的目标都做标注，有两种标注格式，一种是用于垃圾目标检测的矩形框标注格式；另一种是用于垃圾密度估计的点标注格式。

优选的，数据增强算法，

(1)几何变换上的增强方法，包括图像翻转，图像旋转，图像缩放等；

(2)颜色变换上的增强方法，包括添加噪声，颜色扰动，图像模糊；

(3)采用Mosaic数据增强方法，随机选取图片，进行随机缩放，裁剪和排布，最终拼接为1张图像；