[发明专利]一种基于深度学习与高光谱识别技术的垃圾碳值估算方法

权利要求书

1.一种基于深度学习与高光谱识别技术的垃圾碳值估算方法，其特征在于包含以下步骤：

步骤一：2D工业相机拍摄垃圾的RGB图像，高光谱线扫相机同步采集垃圾的高光谱图片信息；

步骤二：将RGB图像输入到输入尺寸为416mm*416mm的YOLOv4目标检测模型中获取图像中存在目标物料的所有位置框Bouding Box的列表，经非极大值抑制NMS算法过滤得到最后需要保留的目标垃圾点坐标位置信息；

步骤三：高光谱图片信息经过PLS模型降维后，获取目标物料特征波段信息并进行分类；

步骤四：遍历YOLOv4目标检测模型预测出目标框置信度，判断每个目标框置信度是否大于0.8，若目标框置信度大于0.8，根据目标物标签信息获得对应目标物的碳值并输出碳值结果；

步骤五：若目标框置信度小于0.8，根据该目标物目标框的顶点及末点坐标位置截取高光谱相机模型赋予每个像素点碳值的区域部分，求出该区域里像素点之和，并输出该目标物的最终碳值。

2.根据权利要求1所述的一种基于深度学习与高光谱识别技术的垃圾碳值估算方法，其特征在于：所述步骤二中非极大值抑制NMS算法具体为：

其中，Si代表了每个边框得分，M代表当前得分最高的框，bi表示剩余框的某个框，Nt为设定的NMS阈值，IOU是预测框和真实框的交集和并集的比值。

3.根据权利要求1所述的一种基于深度学习与高光谱识别技术的垃圾碳值估算方法，其特征在于：所述步骤二中YOLOv4目标检测模型的训练过程为：

2.1、根据目标物料不同，对每个目标物料进行标注；

2.2、将标注完毕的样本数据集按照416mm*416mm放入YOLOv4目标检测模型中进行训练。

4.根据权利要求3所述的一种基于深度学习与高光谱识别技术的垃圾碳值估算方法，其特征在于：所述2.2中YOLOv4目标检测模型训练过程中使用CIOU来计算损失，其计算公式如下：

LOSS_CIOU＝1-IOUU+(ρ²*(b，b^gt)/c²)+αv

其中：IOU是预测框和真实框的交集和并集的比值，(ρ²*(b，b^gt)是预测框和真实框的中心点的欧式距离；c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；公式中的α展开公式和v的展开公式如下：

α＝v/(1-IOU+v)

v＝(4/π²)*(arctan(w^gt/h^gt)-arctan(w/h))²

其中，w表示宽度；h表示高度；gt表示ground truth数据标签。

5.根据权利要求1所述的一种基于深度学习与高光谱识别技术的垃圾碳值估算方法，其特征在于：所述步骤三具体为：

3.1、运用高光谱线扫相机采集目标垃圾物料的二维矩阵光谱信息；

3.2、利用PLS降维模型对获取的二维矩阵光谱信息进行降维；

3.3、通过PLS降维模型运算，提取两个特征目标值作为特征目标数据，随机将所有的特征目标数据划分为训练集、测试集和验证集；

3.4、将训练集中的样本数据带入到神经网络中完成高光谱数据分类训练，使用神经网络进行最后的分类。

6.根据权利要求5所述的一种基于深度学习与高光谱识别技术的垃圾碳值估算方法，其特征在于：所述PLS降维模型计算公式如下：

A＝TP^T+E (1)

B＝UQ^T+F (2)

其中：A表示n*m预测矩阵；B表示n*p响应矩阵；T和U表示n*l矩阵，分别为A和B的投影；P和Q表示m*l和p*l的正交载荷矩阵；矩阵E和F为错误项；

公式(1)和(2)一同进行运算，完成PLS模型降维。