[发明专利]一种基于双层卷积网络和掩码细化的植物叶片精细分割方法

说明书

本发明公开了一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，实现了端到端精细分割自然环境下获取的植物叶片。本发明网络有三个主要部分组成：1)自底向上的路径增强网络，将更多浅层的特征信息传递到更深层的特征中，生成更高质量的特征图。2)基于Mask R‑CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；3)掩码细化模块，通过点选择策略和多层感知机细化叶片边缘。本发明将特征增强后的双层卷积网络和掩码细化模块结合，有效地缓解了自然环境中遮挡重叠和叶片边缘形状复杂带来的分割不精确等问题。

技术领域

本发明涉及图像处理领域，特别是一种基于双层卷积网络和掩码细化的植物叶片精细分割方法。

背景技术

植物表型是指能够反映植物细胞、组织、器官、植株和群体结构及功能特征的物理、生理和生化性质。植物表型深入发掘了“基因型-表型-环境型”之间的内在关系，揭示了植物性状的形成机制，极大地促进了功能基因组学、作物分子育种与高效栽培的进展。传统的表型获取方式，耗时费力，随着图像技术的发展，无创、快速、高精度的植物表型图像获取已经很成熟，但对获取的高通量植物表型数据，需要研究各类特征提取方法。

在表型特征提取中，植物叶片精细分割仍是一项具有挑战性的任务。特别是在具有复杂背景的自然环境下，叶片分割存在很多难点，如：光照、阴影等因素干扰，不同叶片相互遮挡，叶片边缘模糊不清等，这些都造成植物叶片颜色、形状和大小随图像采集时间、角度不同而变化问题。因此对于自然环境下获取的植物单叶片精细分割问题亟需新的解决方法。

发明内容

针对现有技术中存在的问题，本发明提供了一种实现了端到端地分割植物叶片，提高自然环境下获取的植物叶片分割的准确性的基于双层卷积网络和掩码细化的植物叶片精细分割方法。

本发明的目的通过以下技术方案实现。

一种基于双层卷积网络和掩码细化的植物叶片精细分割方法，包括以下步骤：

1)自底向上的路径增强网络，将浅层的特征信息传递到更深层的特征中，生成更高质量的特征图；

2)基于Mask R-CNN的双层卷积网络，用于解耦遮挡叶片和被遮挡叶片；

3)掩码细化模块，通过点选择策略和多层感知机细化叶片边缘。

所述步骤1)具体包括：采用Faster R-CNN目标检测器检测生成叶片的边界框，然后使用掩码分支预测每一个检测框内的前景掩码，基于ResNet的FPN网络，在FPN网络之后添加了一个自底向上的路径增强，所述路径增强从最底层的P2开始，对P2到P5逐渐下采样得到{N2，N3，N4，N5}，其中N2和P2为同一特征图。在这个过程中，特征传递的层数不超过10层。

所述步骤2)具体包括：通过双层卷积网络建模了遮挡实例和被遮挡实例，显示地解耦了遮挡实例和被遮挡实例的边界：对于ROI Align后的感兴趣区域，其中一条遮挡感知分支检测遮挡轮廓和掩码，对遮挡区域进行显示建模，提取遮挡物的形状和位置信息，通过残差结构指导另一条遮挡感知分支对遮挡区域进行轮廓和掩码检测，其中每一条遮挡感知分支由四个3×3，stride为1的卷积层组成。

所述步骤3)引入了一个边缘细化模块，所述边缘细化模块首先对不确定的像素点迭代上采样，再预测像素点的类别，所述边缘细化模块包括：点采样，逐点表示和点头三个部分。

所述步骤3)具体包括：

3-1)点采样训练时，采用一种非迭代随机采样的方式来训练模型，点的选取使用过采样率及重要性，推断时，使用迭代上采样的方式由粗到细分类像素点，在每一次迭代中，首先使用双线性插值对之前预测的掩码进行上采样，然后在分辨率更高的图像上选择最N个不确定的点，点的选取策略同训练时相同，再计算像素点的逐点表示并预测它们类别，反复上述操作五次，便可得到一组包含叶片边缘细节的高分辨率特征图，分别为56×56，112×112，224×224，448×448和896×896；