[发明专利]一种用于苹果树叶病害图像分类的小样本学习方法

权利要求书

1.一种用于苹果树叶病害图像分类的小样本学习方法，其特征在于：使用卷积神经网络学习输入图像在特征空间的非线性映射，获得每个图像的特征向量，根据特征向量求出中心点、所有的点距离中心点的平均距离及几个簇的半径，然后根据点到簇中心的距离与半径的关系，找出离群候选集，接着算出离群候选集中因子的局部可达密度，并根据密度值确认的离群因子，并进行剔除，最后将剩下特征点作为支持集，并求取嵌入空间中支持集的平均值，根据查找最近的类原型，即可对嵌入式查询点进行分类，根据人类视觉神经系统识别物体的过程，针对种类多样且类间类内差异大的农业害虫图像，基于显著性检测设计了一种细粒度分类模型，模型主要由目标定位模块OPM和多特征融合模块MFFM组成，OPM通过U型网络结构整合图像浅层细节信息和深层空间信息，初步划定显著区域并输出空间语义特征，MFFM通过对空间语义特征和抽象语义特征进行双线性池化操作获取融合特征，增加细节特征，弱化背景信息，图像经过OPM和MFFM处理后，通过目标区域裁剪和掩膜等方式进行辅助训练，即可根据最终获取特征进行分类，针对背景复杂，特征相似的害虫图像，在提高分类准确率的前提下降低成本；OPM模块以ResNet-50为基础，对称的设计了特征提取和图像生成两个部分，输入图像尺寸为448×448，将原图和目标像素级标签输入训练模型，图像经过特征提取部分后，将输出特征图输入到过渡桥接模块Bridge中做特征缓冲处理，之后与U型网络相似，通过特征拼接卷积的方式，对特征图进行反卷积和上采样向上层层传递，在这个过程中，图像生成部分的每一层都输出一张显著性检测图像，并同目标像素级标签计算损失函数，模型构建过程中，由于害虫图像背景复杂多样，极易同目标混淆，为了提高目标区域分割的精度，设计了更加精准的图像损失函数L_MBMS：

式中：i表示第i层卷积层；

(a)交叉熵函数L_bce用于计算像素级标注的损失：

式中：G(w_i,h_i)∈{0,1}表示像素点(w_i,h_i)的标签值；S(w_i,h_i)表示模型的预测值；

(b)结构性损失函数L_ms-ssim用于计算区域级标注的损失，对大小为N×N的区域P内的任一像素点p：

则依据上式(3)～式(6)，可以得到L_ms-ssim：

式中：x＝{x_j:j＝1,...,N²}，y＝{y_j:j＝1,...,N²}分别为标签图像G和预测结果S上，对应区域P内的像素值；L(x,y)为亮度对比因子；C(x,y)为对比度因子；S(x,y)为结构对比因子；μ_x，μ_y和σ_x，σ_y分别为x，y的均值和方差；σ_xy为x和y的协方差；M为窗口缩进因子；为区域p的中心像素点；在多特征融合阶段，结合细粒度图像分类的思想，设计了多特征融合模块MFFM，不同于简单的利用输入图像浅层特征进行掩膜处理来引导图像关注目标区域，模块加入了由目标定位模块得到的图像深层空间语义特征，将其与残差网络获取的深层抽象语义特征进行多模双线性池化处理，实现了特征融合，得到的特征既包含了浅层细节信息和深层语义信息，也包含了空间位置信息，两个特征矩阵在进行特征融合后，数据维度由[M×N]转换为[MN×1]，之后根据公式(8)进行数据处理；

将融合的特征同空间语义特征和抽象语义特征拼接并输入到线性分类器，便可以进行病虫害图像分类。