[发明专利]一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法

说明书

本发明涉及一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法，与现有技术相比解决了难以识别枸杞枝条位置的缺陷。本发明包括以下步骤：训练样本的获取和预处理；构建并训练枸杞树叶及其关键点检测网络；构建并训练枸杞枝条定位模型；待检测枸杞枝条视频图像的收集和预处理；枸杞枝条检测结果的获得。本发明优化了传统Mask‑RCNN中ROIAlign输入特征图的选取方法；同时根据枸杞树叶形状，改进对目标区域的描述，利用倾斜的带方向框来代替常用的矩形框，从而保证数据可靠性的基础上，减少内存空间，提高其枝条识别与定位的准确性和效率。

技术领域

本发明涉及枸杞采收技术领域，具体来说是一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法。

背景技术

在我国，枸杞种植面积不断扩大，枸杞的采摘成为制约枸杞产业持续发展的卡脖子问题，由于国内外市场并没有技术较成熟的采摘机械，所以枸杞的采收主要依靠于人工完成，但人工采收枸杞的效率仅为3-5kg/h，所需费用达到生产成本的50％以上。研制适应于我国国情的枸杞采收机械，对降低所需成本、提高农民收入、保障枸杞产业稳态持续发展具有重大意义。

目前，我国研制的各种枸杞采收机械均依赖于操作人员的主观判断操作，利用枸杞采收夹持装置夹住枸杞枝条，对枸杞枝条进行摆动或梳刷，效率较为低下。而枸杞果实的数量比较多、体积较小，成熟的果实容易破损，致使枸杞枝条的准备识别与定位成为实现枸杞果实自动化采摘的前提。若能利用视频图像计算机识别技术准确地识别和判断枸杞枝条的位置，根据枝条的位置和走势利用机械臂将其定点抓起进行枸杞高效率采摘，不仅可以提高枸杞采摘效率、采净率而且能够最大程度地降低对枸杞的损伤以及对树的保护不被损坏。

然而，对枸杞枝条的检测而言，由于自然环境复杂以及遮挡等问题，很难直接判断枝条的位置。同时枝条上的枸杞分布不规律，也无法利用枸杞的位置来判定枸杞枝条的位置和走势，这样判定的枝条位置精确度也不高。

因此，如何提高枸杞枝条检测的精准性已成为当前亟待解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以识别枸杞枝条位置的缺陷，提供一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于枸杞采收夹持装置的视频图像枸杞枝条检测方法，包括以下步骤：

训练样本的获取和预处理：实地采集枸杞枝条视频图像，并按帧进行划分处理成RGB枸杞枝条图片，将其大小归一化为1024*1024像素，并标记出图像中每一片枸杞树叶位置及其枸杞树叶的尖端、末端两个关键点，同时标记出每片枸杞树叶梗与树枝的交点；

构建并训练枸杞树叶及其关键点检测网络：基于Mask-RCNN构建枸杞树叶及其关键点检测网络，并利用训练样本对枸杞树叶以及关键点网络进行训练；

构建并训练枸杞枝条定位模型：基于径向基神经网络构建枸杞枝条定位模型，再对枸杞枝条定位模型进行训练，即枸杞枝条上的点进行定位，拟合已获得枝条上的点以生成枸杞枝条的位置曲线；

待检测枸杞枝条视频图像的收集和预处理：获取待检测枸杞枝条视频图像，按帧进行划分处理成RGB枸杞枝条图片并将图片大小归一化为256*256像素；

枸杞枝条检测结果的获得：将预处理后的待检测枸杞枝条图像输入枸杞树叶及其关键点检测网络，得到待检测枸杞枝条图像的枸杞树叶边框坐标和关键点坐标；再输入训练后的枸杞枝条定位模型中，得到待检测枸杞枝条图像中枸杞枝条的具体位置和形状走势。

所述构建枸杞树叶及其关键点检测网络包括以下步骤：

基于Mask-RCNN设定枸杞树叶及其关键点检测网络的输入层为：RGB枸杞枝条图片；