[发明专利]基于深度学习的大田稻穗分割方法

权利要求书

1.一种基于深度学习的大田稻穗分割方法，其特征在于，包括：

步骤A，选取穗型、遮挡程度以及穗叶混叠情况差异大的品种，选取不同光照条件的原始图像，用于构建稻穗分割网络模型；

步骤B，人工利用Photoshop对这些图像进行像素级标注，稻穗像素被标注为1，背景像素被标注为0；

步骤C，对每一张图像，均进行亮度调整，具体为保持H分量和S分量不变，V分量分别增大、减小20％，用于模拟大田环境中的光照变化，提高分割网络的泛化能力；

步骤D，对所有训练样本图像进行简单线性迭代聚类方法(simple linear iterativeclustering，SLIC)聚类处理，对于聚类后的每个不规整区域的聚类中心，提取维度为5的向量，即X坐标、Y坐标及LAB颜色分量，接着，通过高斯混合模型，将所有区域块聚成两类，然后分别计算每个类别的像素面积之和，以此来确定正负样本的平衡系数，进行样本平衡；

步骤E，基于Caffe平台训练分割网络模型，网络的前半部分采用了ResNet-101层，并将ResNet-101中加入Squeeze and Excitation Module(SE)结构来进行特征层重要性的筛选，构成SE-ResNet结构；替换原始ResNet-101网络模块4和模块5中全部的卷积层，将步长由2改成1，并将模块4中传统卷积层全用“dilation＝2”的空洞卷积层替换，模块5中传统卷积层全用“dilation＝4”的空洞卷积来替换；网络的后半部分采用了空洞金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)和金字塔池化(Spatial Pyramid Pooling，SPP)的结构；网络主分支结构最后的损失函数采用交叉熵损失，逐像素比较预测类别和真实类别的交叉熵，然后对整张图像的全部像素求和后得到主分支的交叉熵损失；除了主分支，在SE-ResNet101中的模块4之后引出了一条分支结构，该分支主要用来对模块4之前的浅层网络进行辅助损失计算，其损失的计算方式也是逐像素水平的交叉熵损失；最后，总体的损失是两部分损失的加权和，其中主分支部分的交叉熵损失占主要部分，而辅助损失占的权重较小，为0.4；

步骤F，基于训练好的网络模型，分割稻穗。

2.根据权利要求1所述的基于深度学习的大田稻穗分割方法，其特征在于，所述步骤E中的ResNet结构主要由三个卷积层组成，第一个卷积层为降维卷积，该层采用的卷积核大小为1×1，并利用zero-padding方法来补充边界以保证从该层输出特征图的空域大小不变，第三个卷积层为1×1大小的升维卷积，其也会保证输出的特征图的空域和输入特征图一致，但会增加输出特征图的深度，每一个卷积层后面都是先连接一个BN层，然后再接上一个Relu非线性层，残差结构的输出是由两条链路求和构成的，左边一条链路直接是原始的输入特征图，而右边的一条链路是通过若干卷积层处理后的结果。

3.根据权利要求1所述的基于深度学习的大田稻穗分割方法，其特征在于，所述步骤E中将SE结构和ResNet101结构相结合的SE-ResNet101结构中的SE结构主要由两部分组成，第一部分为Squeeze操作，利用全局的平均池化层来沿着空域进行特征压缩，将一个二维的特征通道变成一个实数；第二部分是Excitation操作，该步骤使用可学习的参数w来为每个特征通道生成对应的权重，这个权重反应了每个特征通道的重要性；由于每个w的取值范围为0到1之间，因此在SE网络结构中使用了sigmoid非线性层来将输出归一化到0到1之间；最后是一个尺度化操作，即将经过Excitation的输出权重w逐通道的乘到对应的特征通道上，从而实现根据这个重要程度去提升有用的特征并抑制对当前任务用处不大特征的目的。

4.根据权利要求1所述的基于深度学习的大田稻穗分割方法，不仅适用于复杂大田环境下的稻穗分割，其也适用于室内盆栽环境下的稻穗分割，并且也可应用于包括小麦、大麦和玉米在内的农作物的果穗分割。