[发明专利]一种基于MASK RCNN的农作物图像分割提取算法

说明书

本发明属于深度学习与图像处理算法技术领域，具体涉及一种应用于Mask Rcnn图像处理算法的网络结构设计与实现及增添边缘损失方法。本发明提出了一种基于Mask Rcnn的农作物图像分割提取算法。首先对Fruits 360数据集进行预处理，利用PyTorch深度学习框架搭建改进Mask Rcnn网络模型构架，在网络设计中增添路径聚合与特征增强功能，优化了区域提取网络和特征金字塔网络。通过ROIAlign中的双线性插值法来保存特征图的空间信息，最后为进一步提高分割掩模边缘精度，在ROI输出的mask分支中增添微全连接层，并使用sobel算子预测目标边缘，在损失函数中加入边缘损失。通过与传统图像提取算法对比实验结果表明，本发明方法性能优异，准确性、鲁棒性和网络的泛化性能均有更优良的表现。

【技术领域】本发明属于深度学习与图像处理算法技术领域，具体涉及一种应用于Mask Rcnn图像处理算法的网络结构设计与实现及增添边缘损失方法。

【背景技术】近年来，在智慧农业概念的大力推广下，传统农业耕作已被逐渐摒弃，农业开始朝着智能化、自动化的方向发展。早在20世纪70年代，图像处理技术开始应用到农业领域，主要应用于农作物病害识别、表型检测、品质分级等方面，极大提高了农业耕作效率和农作物产量。图像分割是根据图像的灰度值差异，把图像分解划分为若干个区域，研究者提取出自己感兴趣区域的过程。图像分割作为图像处理中的关键一环，对图像分析结果有很大的影响。通过图像分割技术，可以高效、无损的获取农作物信息，帮助农作物种植人员实时了解农作物生长动态，更好的管理农作物。

传统Mask RCNN网络基于TensorFlow作为后端的Keras深度学习框架搭建而成，由于框架的制约，网络的性能不能够很好地发挥出来。基于PyTorch框架搭建网络，其体现出的优势不仅仅是PyTorch相比于以TensorFlow作为后端的Keras框架的优势，更表现为MaskRCNN网络在全新的框架下性能的提升。计算机显存资源利用效率更高，计算的速度和精确度也得到了显著提升。而且新的框架不仅便于调试，高度模块化，搭建模型十分方便，数据参数在CPU与GPU之间迁移十分灵活。

若在实例上确定图像中感兴趣对象的类别和位置信息，最流行的目标检测算法包括Rcnn，Fast Rcnn，Faster Rcnn和Mask Rcnn。但是，这些框架需要大量的训练数据，无法实现端到端的检测。检测框的定位能力有限，并且当提取特征时，随着卷积层数的增加，浅层神经网络与深层神经网络之间语义信息混淆，特征难以全面覆盖提取的问题亟待解决。

本发明提出了一种基于Mask RCNN的农作物图像分割提取算法，通过网络中添加路径聚合与特征增强功能，优化了残差网络(ResNet)。并针对不同比例目标在损失函数中引入不同的权重，在ROI输出的掩模分支中使用sobel算子预测目标边缘，并在损失函数中加入边缘损失，并在由Labelme制作标签后的Fruits 360数据集上测试算法分类性能和分割精度。与FCN、U-net、Mask Rcnn图像提取算法对比实验结果表明，本发明提出的一种基于基于MASK RCNN的农作物图像提取算法提取结果的平均准确度、平均精度均值和F1分数指标均优于对比算法，本发明方法性能优异，准确性、鲁棒性和网络的泛化性能均有更优良的表现。

【发明内容】本发明的目的在于网络设计中增添路径聚合与特征增强功能，在ROI输出的掩模分支中增添微全连接层，并融合sobel算子在损失函数中加入边缘损失，提出了一种基于Mask Rcnn的农作物图像分割提取算法。

与传统的图像分割Mask Rcnn算法不同，本发明特征金字塔网络增添路径聚合与特征增强。特征金字塔网络通过一条自顶向下的旁路连接，为提取的特征增加了高层级的语义性，并有利于分类，但低层级的特征更加有利于像素点的定位，虽然特征金字塔网络高层级特征也有了低层级特性，但信息流动路径过长，难以融合。本发明使用自底而上的思想进一步融合特征，使得高层级特征获得低层级特征的路径变短，从低层级到高层级构建一个清晰的侧向连接路径，用于缩短信息路径，使得底层信息流通更快。创建自底向上的增强路径，进而改进的特征金字塔网络利用自底向上低层级特征中存储的精确定位信号，提升特征金字塔架构。