[发明专利]基于深度图像及多光谱图像融合的垃圾分类方法及装置

说明书

本发明属于垃圾分类技术领域，尤其涉及一种基于深度图像及多光谱图像融合的垃圾分类方法及装置，所述方法包括：获取待分类垃圾的垃圾图像数据集；垃圾图像数据集包括待分类垃圾深度图像和待分类垃圾多光谱图像；将待分类垃圾深度图像和待分类垃圾多光谱图像作图像配准处理；对配准后垃圾深度图像和配准后垃圾多光谱图像作分类标注处理；将标注后垃圾深度图像和标注后垃圾多光谱图像加载至基于Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；根据最优神经网络模型生成分选结果。本发明实现了对垃圾实现自动评分以及自动分类，输出一个最大概率的类别标签，进而实现对垃圾的高精准度和高效率分类，满足垃圾分类的生产需求。

技术领域

本发明属于垃圾分类技术领域，尤其涉及一种基于深度图像及多光谱图像 融合的垃圾分类方法及装置。

背景技术

垃圾分类，是指将性质相同或相近的垃圾分类，按照指定时间、种类，将 该项垃圾放置于指定地点，由垃圾车予以收取，或投入适当回收系统。我国建 筑行业对建筑垃圾的分类问题未引起足够的重视，处理方式多为统一堆放填埋， 分类都较为粗糙，未真正做到建筑垃圾的合理分类和循环回收利用。

目前，对建筑垃圾分类多采用人工分类，因建筑施工垃圾的材质和形状大 多数极为相似，通过人工分类，虽然可以达到90％以上的分类效果，但是人工分 类的速度极为受限，难以保证连续以及长期的工作时间。同时对于现有的计算 机的自动分类器来说，大多数的分类方案都是选择提取图像的RGB像素特征来 进行图像分类，虽然可以在普通的自然图像达到一定的分类效果，但还是存在 对垃圾分类精准度低和效率低的问题。因此，实有必要设计一种基于深度图像 及多光谱图像融合的垃圾分类方法及装置。

发明内容

发明目的在于提供一种基于深度图像及多光谱图像融合的垃圾分类方法及 装置，旨在解决现有技术中对垃圾分类精准度低和效率低的技术问题。

为实现上述目的，本发明实施例提供一种基于深度图像及多光谱图像融合 的垃圾分类方法，所述方法包括：

获取待分类垃圾的垃圾图像数据集；所述垃圾图像数据集包括待分类垃圾 深度图像和待分类垃圾多光谱图像；

将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准处 理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像；

对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作分类标注处 理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像；其中，所述标注后 垃圾深度图像和所述标注后垃圾多光谱图像均包括对应的分类标注信息；

将所述标注后垃圾深度图像和所述标注后垃圾多光谱图像加载至基于 Pytorch框架的YOLOv4神经网络中作模型训练，并生成最优神经网络模型；

根据所述最优神经网络模型生成分选结果；所述分选结果包括目标检测框 和分类类别。

可选地，所述待分类垃圾多光谱图像包括紫外光图像、近红外图像和RGB 图像；

所述将所述待分类垃圾深度图像和所述待分类垃圾多光谱图像作图像配准 处理，并获取配准后垃圾深度图像和配准后垃圾多光谱图像的步骤，具体包括：

将所述待分类垃圾深度图像与所述紫外光图像、所述近红外图像和所述RGB 图像一一配准，以获取配准后垃圾深度图像和配准后垃圾多光谱图像；其中， 所述配准后垃圾多光谱图像包括配准后紫外光图像、配准后近红外图像和配准 后RGB图像。

可选地，所述对所述配准后垃圾深度图像和所述配准后垃圾多光谱图像作 分类标注处理，并获取标注后垃圾深度图像和标注后垃圾多光谱图像的步骤， 具体包括：