[发明专利]一种基于深度学习的林下经济作物生产线杂质检测的方法

权利要求书

1.一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，该检测方法具体步骤如下：

(1)采集生产线信息并进行图像处理；

(2)标注杂质信息以训练深度学习模型；

(3)通过深度学习模型进行判断区分；

(4)构建检测平台并实时显示检测结果。

2.根据权利要求1所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(1)中所述图像处理具体步骤如下：

步骤一：通过工业相机采集林下经济作物生产线的运输信息以获取相对应的视频数据，之后对采集到影像数据进行逐帧提取，依据提取出的视频图像的显示比例来确定分块数量，并对该视频图像进行分块处理；

步骤二：将分块后的各组视频图像通过傅里叶正反变换进行图像空间转换至频率空间的相互变换，同时当视频图像转换至频率空间后，对各视频图像中的高频成分进行分析提取，并对其进行低通滤波处理，再各视频图像转换至图像空间中；

步骤三：对处理完成的视频图像中各像素点R、G以及B三组分量数据进行采集，再依据采集到的三组分量对X、Y以及Z三组刺激值进行计算，以构建L^*a^*b^*模型，并收集该视频图像L^*、a^*以及b^*的平均值作为该视频图像的特征向量，并将其反馈给工作人员进行查看。

3.根据权利要求1所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(2)中所述深度学习模型具体包括U-Net网络模型以及DeeplabV3+模型。

4.根据权利要求2所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(2)中所述深度学习模型具体训练步骤如下：

第一步：工作人员通过图像标注工具labelme对各组视频图像中的杂质特征影像进行手工标注，之后精确称量杂质和作物重量，同时按照其在图片中所占的面积制作图片面积-重量数据集并进行线性回归分析以获取重量与图片面积的关系；

第二步：通过计算标注的杂质特征影像的方差系数对其进行特征降维处理，并筛除对于表征能力差的特征影像，之后将这些特征影像按照7:3的比例划分为训练集和测试集，再对训练集进行标准化处理；

第三步：将训练样本输送到深度学习模型中，设置模型具体参数，采用长期迭代法训练该深度学习模型，并将测试集输入到训练好的模型中，若测试准确率满足期望值，则停止训练，反之继续上述步骤，最后，对满足期望值的深度学习模型进行准确率、检出率和误报率评估，并生成相对应的曲线走势图。

5.根据权利要求4所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，第二步中所述方差系数具体计算公式如下：

式中，σ表示特征影像的标准差；μ表示特征影像的均值；

CV表示特征影像的方差系数，若方差系数越大，则表示越重要，反之，则表示不重要，予以剔除；

第二步中所述标准化处理具体计算公式如下：

其中，x表示提出的特征影像参数；mean(x)表示对所提特征影像参数进行平均处理；std(x)表示对特征影像参数的标准差。

6.根据权利要求3所述的一种基于深度学习的林下经济作物生产线杂质检测的方法，其特征在于，步骤(3)中所述判断区分步骤如下：

S1：从采集到的N组视频图像中选择一组作为验证数据，并通过该验证数据来验证两组深度学习模型的精度，并通过均方根误差对各组深度学习模型的检测能力进行计算，如此重复n次，再对比两组深度学习模型的精度，并选取精度较高的进行杂质检测；

S2：若U-Net网络模型判断精度较高，则通过U-Net网络模型提取视频图像中的主干特征信息，并通过卷积和最大池化堆叠以获取五个初步有效特征层，再对获取的特征层进行特征融合；

S3：之后加强提取得主干特征，并进行上采样和特征融合，并获得一个融合所有特征的有效特征层，再利用最终获得的最后一个有效特征层对每一个特征点进行分类；

S4：若DeeplabV3+模型判断精度较高，则通过DeeplabV3+模型控制编码器提取特征的分辨率，再用不同级别的萎缩性卷积核对压缩四次的初步有效特征层进行特征提取以及合并，并用1x1卷积压缩特征，之后解码时，利用1x1卷积调整初步有效特征层通道数，再将其与空洞卷积后的有效特征层的上采样结果进行堆叠，最后分离卷积块以获得整张图片的特征浓缩；

S5：对上述步骤获取的分类结果或浓缩结果进行归一化处理，并输出检测框，之后对检测框信息进行收集以生成对应检测框坐标，再对相关视频图像进行扩大化剪裁以获取杂质图像，并通过RPN过滤掉各组杂质图像中属于背景的简单负样本，挑选出可能含有杂质的区域进行分类和回归；

S6：在各组不同语义信息的杂质图像的每一个点上生成一组或多组锚框并对这些锚框进行分类和回归，再通过扩大化剪裁对各组杂质图像中的杂质位置进行检测，并将检测结果反馈给工作人员进行查看。