[发明专利]基于视觉及深度学习的垃圾分选系统、垃圾分选方法

说明书

本发明提供一种基于视觉及深度学习的垃圾分选系统、垃圾分选方法，基于视觉及深度学习的垃圾分选系统包括输送装置；图像获取装置，包括用以获取所述输送装置上的垃圾的2D图像数据的线阵相机、用以获取所述输送装置上的垃圾的3D点云数据的3D相机；抓取装置，用以抓取目标垃圾；控制单元，所述输送装置、图像获取装置、抓取装置均与所述控制单元通讯连接，所述控制单元包括用以将得到的2D图像数据与3D点云数据相配准得到RGB‑D图像数据的图像处理模块、对所述RGB‑D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息的深度学习训练及计算模块；增强目标垃圾识别的准确率以及识别速率。

技术领域

本发明涉及垃圾回收领域，尤其涉及一种能够自动分选垃圾的基于视觉及深度学习的垃圾分选系统、垃圾分选方法。

背景技术

垃圾造成的环境污染问题日益严重，特别是，随着我国城镇化速度的加快，城镇改造过程中伴随着大量的建筑物拆迁拆除，产生大量的建筑垃圾，如混凝土块、碎石块、木板、纸板、塑料、布艺等，处理不当会造成严重的环境污染以及资源浪费。

目前，垃圾分选的分选方式主要采用尺寸筛分、空气分选、液体浮选、弹跳分选、磁分选、涡流分选、传感器气流分选等机械式分选技术进行垃圾分选，其中，通过人工分选是上述各分选技术中不可或缺的环节，人工分选主要是用来挑选上述机械式分选技术无法识别的大尺寸目标垃圾，如塑料、木板、纸板、大件可燃材料、油漆桶等。但是，人工分选存在分选效率低、工作环境差、损害工人身体健康等问题。

现在部分国内科研机构尝试在实验室搭建测试环境，利用视觉技术对目标物进行筛选，且大多依赖于RGB图像，但是，由于RGB图像和灰度图像包含信息的局限性等限制，不能满足当代的工业应用中对于物体识别准确率的高要求，无法适应客户现场复杂的使用环境，均无法实现产业化。

有鉴于此，有必要提供一种新的基于视觉及深度学习的垃圾分选系统、垃圾分选方法以解决上述问题。

发明内容

本发明的目的在于提供一种能够自动分选垃圾的基于视觉及深度学习的垃圾分选系统、垃圾分选方法。

为实现上述发明目的，本发明采用如下技术方案：一种基于视觉及深度学习的垃圾分选系统，包括用以输送待分选的垃圾的输送装置；

图像获取装置，包括用以获取所述输送装置上的垃圾的2D图像数据的线阵相机、用以获取所述输送装置上的垃圾的3D点云数据的3D相机；

抓取装置，用以抓取目标垃圾；

控制单元，所述输送装置、图像获取装置、抓取装置均与所述控制单元通讯连接，所述控制单元包括用以将得到的2D图像数据与3D点云数据相配准得到RGB-D图像数据的图像处理模块、对所述RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息的深度学习训练及计算模块。

作为本发明进一步改进的技术方案，所述输送装置包括相对设置的进料端以及出料端，所述图像获取装置靠近所述进料端设置。

作为本发明进一步改进的技术方案，所述图像获取装置还包括安装于所述输送装置上方的暗室、安装于所述暗室内的补光装置，所述暗室具有朝向所述输送装置开放的拍摄开口，所述线阵相机、3D相机均安装于所述暗室内。

作为本发明进一步改进的技术方案，所述输送装置包括输送线、用以驱动所述输送线的驱动组件，所述驱动组件包括与所述控制单元通讯连接的驱动件、与所述驱动件相连接的主动辊、与所述主动辊联动的从动辊；所述基于视觉及深度学习的垃圾分选系统还包括设于所述从动辊上的编码器；所述编码器与所述线阵相机、3D相机、抓取装置均通讯连接。

作为本发明进一步改进的技术方案，所述抓取装置的数量为至少两组，且至少两组所述抓取装置沿所述输送装置的输送方向并排设置。