[发明专利]一种自然果园场景下的芒果高精度检测方法

说明书

本发明公开了一种自然果园场景下的芒果高精度检测方法，包括：建立自然场景下的芒果数据库；构建基于Mask Scoring R‑CNN的初步网络结构；在ROI Align层后增加一个并行训练的BoxIOU分支，为RPN输出的候选框预测IOU得分；测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合，再将耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据；利用训练后的BoxIOU MangoNet进行芒果果实的检测和分割。该方法为果实目标筛选出定位更准确的检测框，简单有效，能够解决自然果园场景下受复杂环境干扰的检测分割难题。

技术领域

本发明涉及农业计算机视觉的图像检测和分割技术领域，具体涉及了一种基于Mask Scoring R-CNN的自然果园场景下的芒果高精度检测方法。

背景技术

芒果是人们日常生活中常见的水果之一。近年来，随着世界芒果栽培面积不断扩大，产量逐年上升，芒果已成为世界五大水果之一。其中，中国是世界芒果收获面积第二大的国家，占17％。芒果在我国果业发展中占有重要地位。但农业劳动力日益紧缺，亟待提高果园的机械自动化水平。而果实的实例分割是果园机械自动化的重要前提。

在水深度学习技术的兴起给各行各业都带来了较大的变革，但农业领域的相关研究还是相对较少。果园的机械自动化管理依赖于农业机器人对果树或果实的自动识别，其中包括目标检测和目标分割等，而目前采用较多的方法仍旧是基于传统的机器学习方法，这类方法通常鲁棒性不强，难以适应自然果园环境下的光照变化、枝干遮挡、果实大小和形状不一等多种复杂场景。

公开号CN109684941A公开了一种基于MATLAB图像处理的荔枝果实采摘区域的划分方法。公开号CN109800619A公开了一种成熟期的柑橘果实图像识别方法。公开号CN108335308A公开了一种橙子自动检测方法、系统以及机器人智能零售终端，但其未能处理遮挡情况下的橙子。上述发明基于传统的机器学习方法，受限于果实目标的特征提取过程，容易受到自然场景中复杂环境的干扰，且所述方法难以迁移运用到其他类别的水果上。公开号CN110348503A公开了一种基于卷积神经网络的苹果品质检测方法。公开号CN110548699A公开了一种基于双目视觉和多光谱检测技术的菠萝自动分级分拣方法及装置。公开号CN110148122A公开了一种基于深度学习的苹果外观质量分级方法。公开号CN110619632A公开了一种基于Mask R CNN的芒果实例对抗分割方法，将对抗网络的思想和Mask R-CNN融合在一起，提高了芒果果实的检测及分割精度。但其在自然果园环境下进行果实目标的检测仍旧存在一个弊端：背光角度或枝干枝叶的干扰同样给上述文献中，基于卷积神经网络的精确特征提取带来了困难，导致模型筛选的检测框定位不够准确。

发明内容

鉴于上述问题，本发明提供一种自然果园场景下的芒果高精度检测方法，基于Mask Scoring R-CNN对自然果园环境下的芒果进行检测，能够解决自然果园场景下受复杂环境干扰的检测分割难题。

本发明实施例提供一种自然果园场景下的芒果高精度检测方法，包括：

S1、建立自然场景下的芒果数据库；

S2、构建基于Mask Scoring R-CNN的初步网络结构；

S3、在所述初步网络结构的基础上构建BoxIOU MangoNet作为芒果的检测及分割网络：在ROI Align层后增加一个并行训练的BoxIOU分支，为RPN输出的候选框预测IOU得分；

S4、测试阶段BoxIOU分支预测的IOU得分与相应的分类置信度进行耦合，再将耦合后的分值替代原本的分类置信度作为后处理阶段的非极大抑制的排列依据；

S5、利用训练后的BoxIOU MangoNet进行芒果果实的检测和分割。

在一个实施例中，所述步骤S1包括：