[发明专利]一种生菜多光谱图像前景分割方法

权利要求书

1.一种生菜多光谱图像前景分割方法，其特征在于，包括以下步骤：

1)生菜多光谱图像的获取和预处理：将图像采集高度设定为1.5m、图像采集装置移动速度设置为0.05m/s，利用多光谱相机拍摄生菜多光谱图像，剔除高重叠度图像后将图像尺寸从2064x1544像素缩放为512×512像素，形成原始图像数据集；

2)生菜多光谱图像的边缘提取：利用边缘提取算法对生菜多光谱图像进行边缘提取操作；

3)生菜多光谱图像的配准：利用相位相关算法对生菜多光谱图像进行配准处理；

4)图像分割模型的建立：利用U-net网络构建图像分割模型；

所述图像分割模型的建立包括以下步骤：

41)使用VGG16作为主干特征提取网络，并使用Imagenet上的预训练权重进行迁移学习，来提高模型的泛化性；

VGG16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，再采用pooling，再重复两次三个512个卷积核卷积后，再pooling，最后经过三次全连接层输出特征图；

42)分割网络U-Net结构主要由主干特征提取网络VGG16和加强特征提取网络构成，其形状可以看作为一个U型，利用VGG16主干特征提取网络获得五个初步的特征层，在加强特征提取网络里，利用这五个初步有效特征层进行特征融合，特征融合的方式就是对特征层进行上采样并且进行堆叠；

为了方便网络的构建和更好的通透性，在加强特征提取网络里，在进行上采样时直接进行两倍上采样再进行特征融合，最终获得的特征层和输入图片的长宽高相同；

43)为了量化本文语义分割方法对生菜冠层多光谱图像的分割效果以及对比不同方法的分割性能，引入平均像素准确率Accuracy、平均交并比MIoU、召回率Rell、精确率Precesions和平衡F分数F1-Score进行评价，其表达式如下：

在此假设共有k+1个分类，TP表示预测是正确的正样本，FP表示预测是错误的正本,TN表示预测是正确的负样本，FP表示预测是错误的负样本；

5)图像分割模型的训练：利用配准处理后的生菜多光谱图像对图像分割模型进行训练；

6)待分割图像的获取和处理：获取待配准图像并进行预处理，再进行边缘提取和配准处理；

7)待分割图像结果的获得：将配准处理后的待分割图像输入训练后的图像分割模型，对生菜多光谱图像进行前景分割。

2.根据权利要求1所述的一种生菜多光谱图像前景分割方法，其特征在于，所述生菜多光谱图像的边缘提取包括以下步骤：

21)使用5x5的高斯滤波器来平滑和去除噪声，其公式如下：

其中，σ为方差，k确定核矩阵的维数，i为x轴方向随机参数，j为y轴方向随机参数；

22)对平滑后的图像使用Sobel算子计算水平方向和竖直方向的一阶导数即图像梯度Gx和Gy，根据得到的这两幅梯度图Gx和Gy找到边界的梯度和方向，其公式如下：

其中，G为每一个点的梯度值，θ为每一个点的梯度方向；

23)使用非极大值抑制，即寻找像素点的局部最大值，将非极大值所对应的像素点的灰度值设置为0，来消除边缘检测带来的杂散响应；

24)滞后阈值：通过设定两个阈值minVal和maxVal来确定真正的边界，对于低于minVal阈值的像素点直接抛弃，高于maxVal阈值的像素点为真正的边界；处于阈值之间的像素点如果与真正的边界点相连便认为它也是边界点，否则就抛弃；根据选取的阈值，自动对图像进行边缘检测。