[发明专利]基于计算机视觉的垃圾分类检测系统及方法

权利要求书

1.一种基于计算机视觉的垃圾分类检测系统，其特征在于：包括垃圾拾捡机器人和垃圾分类检测装置；

所述垃圾拾捡机器人包括第一上位机模块(1)、第一下位机模块(2)、双目摄像头(3)、激光雷达(4)、六自由度机械臂(5)、电机驱动模块(6)、第一移动电源供电模块(7)、第一无线模块(8)以及超声波传感器(9)；

所述第一上位机模块(1)通过USB接口连接双目摄像头(3)和激光雷达(4)，接收双目摄像头(3)采集的处理路面环境视觉信息以及激光雷达(4)采集的障碍物位置信息；第一上位机模块通过SSH协议连接远程PC端，并将获取的视觉信息和激光雷达信息传送至PC端，PC端实时监控机器人的运动；所述第一下位机模块(2)分别连接六自由度机械臂(5)、电机驱动模块(6)、第一无线模块(8)以及第一移动电源供电模块(7)，控制机器人的速度和方向，以及接收来自垃圾分类检测装置的工作指令；

所述垃圾分类检测装置包括第二上位机模块(10)、第二下位机模块(11)、USB摄像头(12)、4个LED信号灯(13)、第二移动电源供电模块(14)、第二无线模块(15)、检测台以及四个分类垃圾箱；

所述第二上位机模块(10)连接USB摄像头(12)和检测台，所述第二下位机模块(11)分别连接4个LED信号灯(13)、第二无线模块(15)、以及第二移动电源供电模块(14)，用来点亮信号灯以及向垃圾拾捡机器人发送工作指令，4个信号灯分别放置于垃圾箱上方。

2.根据权利要求1所述的一种基于计算机视觉的垃圾分类检测系统，其特征在于，所述分类垃圾桶包括厨余垃圾、可回收物、有害垃圾和其他垃圾。

3.一种基于计算机视觉的垃圾分类检测方法，通过权利要求1所述一种基于计算机视觉的垃圾分类检测系统实现，其特征在于，包括以下步骤：

步骤S1、搜集不同垃圾图片，构建垃圾分类模型，识别垃圾种类；

步骤S2、将垃圾分类模型导入垃圾分类检测装置的软件系统，垃圾拾捡机器人与垃圾分类检测装置进行联合工作；

步骤S21、对垃圾分类检测系统硬件设备进行调试，待所有硬件调试完成，机器人开始进行巡检工作；

步骤S22、机器人在巡检过程中，通过基于ROS机器人系统的SLAM技术构建增量式地图；

步骤S23、机器人通过多传感器融合，包括双目摄像头(3)、激光雷达(4)、超声波传感器(9)，对障碍物进行实时的躲避，通过摄像头上传周围环境实时画面，通过目标检测算法SSD-Mobilenet识别到地面上的垃圾，即获得垃圾的位置信息；

步骤S24、机器人移动到垃圾的位置，机器人控制六自由度机械臂(5)将垃圾收集到储存箱；

步骤S25、垃圾拾捡机器人工作预先设定的时间后，移动到指定地点，即垃圾分类检测装置的位置；

步骤S26、垃圾拾捡机器人控制六自由度机械臂(5)将垃圾放到检测台上，USB摄像头(12)实时传输垃圾画面，系统通过步骤1构建的垃圾分类模型来识别垃圾类别；

步骤S27、当系统对垃圾进行识别后，相应垃圾箱上的信号灯闪烁，同时由无线模块(15)传输移动指令到移动机器人，指令的形式为四维向量；

步骤S28、最后移动机器人控制六自由度机械臂(5)将垃圾投放到相应垃圾箱，工作结束。

4.根据权利要求3所述的一种基于计算机视觉的垃圾分类检测方法，其特征在于，步骤S1具体包括以下步骤：

步骤S11、制作垃圾分类模型数据集，通过网络爬虫和拍照获取垃圾样本数据图片，将所有垃圾样本数据图片的格式和大小进行统一；

步骤S12、增加垃圾样本数据数量；

步骤S13、将垃圾样本数据图片分别作为训练集、验证集和测试集，在训练集上训练模型，在验证集上调节超参数，在测试集上测试模型的效果；

步骤S14、对垃圾图片进行数据预处理，将图片尺寸大小缩小并进行去均值，样本每一维的原始数据减去该维数据的均值来替代原始数据；

步骤S15、使用目标检测标注工具进行手动标注，每张图片对应一个标签，标签是4维向量，包含类别和位置信息，将标签转换成one-hot编码；

步骤S16、选择高阶深度学习API框架Keras搭建神经网络，采用顺序模型Sequential；

步骤S17、构建模型网络层，在模型中添加图层，其中包括输入层，卷积层，池化层，全连接层，展平层；

步骤S18、进行模型编译，选择优化器和损失函数确定计算反向传播的方法；

步骤S19、进行模型训练，调用fit函数将数据提供给模型，调整各项参数，即对总的样本数进行分组，训练之前将所有数据随机打乱，并初始化权重的函数，进行L2正则化处理，使得特征的权重平均化，完成垃圾分类模型的构建。