[发明专利]基于多尺度双注意力机制和全卷积神经网络的叶分割方法

说明书

本发明公开了一种基于多尺度双注意力机制和全卷积神经网络的分割系统，包括特征提取主干网络，特征金字塔网络,语义分割网络，目标检测器，系数预测器和融合模块，其中语义分割网络包括第一卷积层，注意力模块和第二卷积层，其中：特征提取主干网络是VoVNet57网络，用于提取训练集图像和测试集图像的特征并发送给特征金字塔网络；特征金字塔网络用于进行同级特征图融合以得到P3‑P7特征图；经过特征金字塔融合网络得到的P3‑P7特征图输入到FCOS目标检测器，并由目标检测器逐像素生成建议框类别及其位置，并对所述建议框进行Soft NMS操作以获取最终的检测框；系数预测器对所述检测框进行实例信息的权值预测以生成与检测框相对应的实例比重；语义分割网络用于将经过特征金字塔融合网络得到的P3‑P6特征图处理后产生4个分割图；融合模块处理用于将4个分割图与检测框叠加并与相对应的实例比重输出最终的分割图。

技术领域

本发明涉及一种图像处理方法，尤其涉及一种基于多尺度双注意力机制和全卷积神经网络的叶分割方法。

背景技术

植物表型在遗传学、植物学和农学中占有重要地位，在大多数植物的器官中，叶片所占比例最大，在植被生长发育中起着至关重要的作用，叶子形态结构和生理参数的估计对植被生长监测具有重要意义，对叶片的观察有助于揭示其生长状态，最终帮助我们辨别遗传贡献能力，改善植物遗传特性，增加作物产量。在高通量表型分析中，植物叶片的自动分割是测量更复杂表型性状的前提。尽管叶子具有明显的外观和形状特征，但是叶子形状和姿势的遮挡和变化以及成像条件使此问题具有挑战性。

自20世纪80年代以来，人们提出了许多有效的方法来处理叶片分割问题，但是现有的叶片分割方法无法适应复杂的背景，并且后处理方法繁琐，但在精度方面仍然有很大的提升空间，并且距离真正实践应用还有一定差距。

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多尺度双注意力机制和全卷积神经网络的叶分割方法，使用训练后的分割模型对得到的植物叶片图像进行实例分割，统计叶面积、叶长、叶宽等表型信息。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种基于多尺度双注意力机制和全卷积神经网络的分割系统，包括特征提取主干网络，特征金字塔网络,语义分割网络，目标检测器，系数预测器和融合模块，其中：特征提取主干网络用于提取训练集图像和测试集图像的特征并发送给特征金字塔网络；特征金字塔网络用于进行同级特征图融合以得到P3-P7特征图；经过特征金字塔融合网络得到的P3-P7特征图输入到目标检测器，并由目标检测器逐像素生成建议框类别及其位置，获得最终的检测框；系数预测器对所述检测框进行实例信息的权值预测以生成与检测框相对应的实例比重；语义分割网络用于将经过特征金字塔融合网络得到的P3-P6特征图处理后产生4个分割图；融合模块处理用于将4个分割图与检测框叠加并与相对应的实例比重相乘，进而输出最终的分割图。

所述的分割系统，其特征在于：特征提取主干网络是VoVNet57网络，VoVNet57网络包括3个卷积层和4个具有前后顺序的OSA模块，OSA模块由5个卷积层组成，具有相同的输入/输出信道，VovNet57网络的输入为RGB原始图片，经过3层卷积层输出一组128通道的特征图，这组特征图输入到第一个OSA模块，其输出作为下一个OSA模块的输入，依次顺序操作，并且保留每个OSA模块的输出，经过VoVNet57输出的特征图共有四层，尺寸大小分别为原图的1/4、1/8、1/16和1/32，而通道数分别为256、512、768和1024。