[发明专利]一种基于多光谱巡检图像的杂草智能识别方法

权利要求书

1.一种基于多光谱巡检图像的杂草智能识别方法，包含对多光谱巡检图像的样本数据增广、图像分割和基于卷积神经网络模型的杂草识别，其特征在于：首先从杂草图像库中分別抓取各类场景的样本图像，然后对图像添加标签、数据增广、图像预处理，并将处理后的图像划分为训练集和测试集，训练集用于训练图像分类模型和区域生成模型，测试集用于测试模型的识别效果，在测试时，为每幅样本图像提取出目标候选区域，并将候选区域通过之前训练好的分类网络，判别出候选区域中是否存在已标记的类别，进而得出整幅图像中杂草的位置信息；该方法进一步包括：

(1)针对多光谱巡检图像中存在电气设备在中心位置这个特征，对图像进行随机上下左右翻转、随机变换对比度和尺度变换三种数据增广办法，并且引用基于数学形态学的IKONOS多光谱图像分割技术对多光谱巡检图像进行分割；

(2)卷积神经网络模型中的图像分类网络使用改进后的AlexNet网络，为了使得网络能够适应各种尺寸的图像，将最后一层池化层改为兴趣区域池化层，使得不同尺寸的图像在到全连接层时连接为相同尺寸的特征向量，其中图像分类网络的结构为：

第一层和第二层分别由卷积层加修正线性单元层、池化层和局部响应归一化层组成，第一层的卷积核数量为96，卷积核尺寸为11，步长为4；第二层的卷积核数量为256，卷积核尺寸为5，步长为4，第一层和第二层的池化层的核尺寸均为3，步长均为2，并且局部响应归一化层的局部尺寸均为5；

第三层和第四层均为卷积层加修正线性单元层，卷积核数量均为384，卷积核尺寸均为3；

第五层由卷积层加修正线性单元层和兴趣区域池化层构成，卷积核数量为256，卷积核尺寸为3，兴趣区域池化层的作用是区域划分；

第六层和第七层为全连接层加修正线性单元层加丢弃层；

第八层为一个全连接层；

(3)卷积神经网络模型中的区域生成网络中，候选区域的代价函数计算如下式所示：

式中，p_i是分类网络对该区域为前景或后景的置信度，为前后景真实标签，若为1则表示该区域真实为前景，后项计入计算，否则为后景，后项不计入计算；t_i为标记图像区域位置和尺寸的四维向量，为真实物体方框的区域位置和尺寸；用来描述网络计算分类置信度和真实类别的误差，本方法用真实分类u对应的概率计算；如下式所示：

表示候选区域检测误差，用于比较真实物体区域V与预测候选区域t^u间的平移缩放参数误差，如下式所示：

式中，g为smooth L1损失函数，对异常值不敏感，如下式所示：

得到区域生成网络后，将它和图像分类网络连接在一起，再用区域生成网络产生的候选区域通过兴趣区域池化层训练图像分类网络，对于基础特征提取网络，首先用ImageNet训练得到初始参数W₀，再用巡检图像数据对网络参数细调，具体的调节方法如下：

(1)以W₀为初始化参数，先训练区域生成网络，用区域生成网络提取原数据集中的候选区域；

(2)以W₀为初始化参数，用第(1)步产生的候选区域训练图像分类网络，产生的参数记为W₁；

(3)以W₁为初始参数训练，重新训练区域生成网络。