[发明专利]一种用于并联机器人的堆叠串类水果主果梗识别和提取方法

说明书

本发明公开了一种用于并联机器人的堆叠串类水果主果梗识别和提取方法。基于Kinect传感器构建该类水果的立体视觉检测系统，获取三维视觉信息，构建数据集，通过图像处理方法增加其分布范围。构建一种卷积神经网络，增加特征量。基于构建的CNN架构改进现有Faster R‑CNN，设计由粗到精和参数分享策略实现Faster R‑CNN的级联，减少背景干扰。设计多迁移学习训练策略对网络进行训练直到精度达标，将满足测试精度要求的已训练的由粗到精级联Faster R‑CNN用于实现并联机器人水果分拣系统中堆叠串类水果的在线主果梗识别和提取，并提高识别和提取的精度和效率，为基于立体视觉的并联机器人实现对堆叠串类水果的准确、快速、无损自动分拣奠定基础。

技术领域

本发明涉及机器视觉领域，具体涉及一种用于并联机器人的基于机器视觉、图像处理和神经网络，针对堆叠串类水果的主果梗识别和提取方法。

背景技术

近年来我国的水果产量增长迅猛，传统人工分拣方法已很难满足现代农业生产的需求，基于机器人技术实现水果的自动分拣对农业生产和农产品加工的自动化、规模化、精确化发展具有重要意义。在基于机器人的水果自动分拣过程中，水果的准确抓取检测是机器人实现准确、快速、无损抓取控制的前提条件。机器视觉由于具有非接触、强适用性、高性价比等优点，适合用于解决机器人自动分拣水果的抓取检测问题。与苹果、梨、菠萝等独立水果相比，形如葡萄、桂圆、荔枝等堆叠串类水果由于其果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样等原因，其抓取检测仍是难点。在堆叠串类水果的抓取检测中，主果梗的识别和提取是其中重要的一部分，也是难点所在。

现有的基于机器视觉的主果梗识别和提取技术主要包括了固定阈值法、霍夫变换法以及图像特征分类法。较早出现的是基于区域的中心、面积、长宽等特征的固定阈值法。之后出现了针对悬挂串类水果，基于累计概率霍夫直线检测的果梗提取研究。此方法将果梗看作直线进行检测，并将果梗定位在悬挂水果果穗的上方，具有一定局限性。图像特征分类法主要针对水果串图像中的果粒、果梗、叶子、背景等对象进行分类，提取精度较高，适用于自然放置水果串的果梗提取研究。现有的基于分类的果梗提取研究主要使用的分类器为SVM、PLS、GMM等模型，需要实验选定多个能表征对象间区别的特征，并构建特征向量，此方法仅能实现已提取出的区域间的分类，难以实现图像上对象的直接识别和定位。因此，对于果梗和果粒分布无规律、主果梗无形状和位置约束、水果串形态多样的堆叠串类水果，现有的主果梗识别和提取方法并不适用。另外，由于用于本发明并联机器人水果分拣系统的抓取检测视场需覆盖整个工作空间，因此使得堆叠串类水果上的主果梗在RGB-D图像中成像较小，导致基于现有深度神经网络所提取的堆叠串类水果主果梗小区域的特征较少。同时，堆叠串类水果上的果粒、果蒂等元素使得主果梗的背景不单一，导致堆叠串类水果主果梗的识别和提取的精度更加难以提高。

发明内容

本发明的目的提出了一种准确、快速的立体视觉基于改进Faster R-CNN的用于并联机器人的堆叠串类水果主果梗识别和提取方法。

本发明采用的技术方案是采用如下步骤：

步骤1，并联机器人水果分拣系统下基于Kinect传感器的堆叠串类水果的立体视觉系统构建：本发明基于Kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的立体视觉检测系统。将Kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线处，并选择Kinect传感器深度检测误差最低的区域构建检测视场。同时，基于检测平面大小、水果堆叠高度范围、物距范围等设计视觉硬件参数，构建稳定可靠的堆叠串类水果的立体视觉检测系统，为实现高精度的堆叠串类水果主果梗识别和提取奠定基础。