[发明专利]基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法

说明书

技术领域

本发明属于全景立体视觉技术、采摘机器人技术、数字图像处理技术和模式识别技术在颗粒状农作物自动化采摘方面的应用，尤其适用于采摘机器人的自动采摘作业。

背景技术

农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。同时,采摘作业质量的好坏还直接影响到产品的后续加工和储存。如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。由于采摘作业的复杂性,目前我国采摘作业的规模化、自动化和智能化程度仍然很低，基本上农作物采摘作业都是手工进行，就棉花采摘这一项来说每年约需要人工采摘成本8个亿。随着人口的老龄化和农业劳动力的减少,农业生产成本也相应提高,这样会大大降低产品的市场竞争力。因此采摘机器人是未来智能农业机械的发展方向。

采摘机器人工作在高度非结构化的环境下，采摘对象是有生命的生物体，具有以下的特点：1）采摘对象娇嫩、易脆,形状复杂且个体之间的差异性大；2）采摘对象大多数被树叶、树枝等掩盖，增大了机器人视觉定位难度，降低采摘成功率；3）采摘对象分布是随机的，分布在采摘机器人的周围，因此需要全方位的检测方法；4）希望实现智能化自动分级技术边采摘边分级，即在采摘过程中进行分类，以提高采摘物的品质和减少后续的分拣工序。

采摘对象的识别与定位，是实现采摘自动化的第一步。考虑到采摘对象的生长环境、空间位置和分布状态等要素，采用三维视觉进行采摘对象的检测是一种非常有前途的解决方案。所谓三维视觉信息包括从摄像机到物体之间的距离、物体的大小和形状、各物体之间的关系等。对于采摘机器人视觉系统而言，在自然光条件下，不仅要探测到目标的存在，还要计算出采摘对象的空间坐标。

目前，在园林生产和田间作业中，对于橙、橘、番茄、土豆、蘑菇、黄瓜、苹果、西瓜、葡萄等果蔬的基于机器视觉的采摘技术，国内外已有一些相关报道，但尚未检索到棉花采摘机器人的相关报道。

颜色、大小和形状是反映采摘对象的重要视觉特征，是基于机器视觉的采摘对象的识别、分类的重要依据。每一种采摘对象都有其特有的颜色、大小和形状特征，这些视觉信息是识别采摘对象的重要属性特征；同时每一种采摘对象在其不同的生长期和不同的品质上，其颜色、大小和形状均有较大的差别，这些差别是基于机器视觉的分类和分级中各种判定指标和阈值取值的根据。

在采摘对象颜色测量中，应选用一定的颜色模型来对采摘对象表面的颜色特征进行研究。通过该研究建立多种各具特色的颜色模型，在机器视觉研究中，常用的RGB和HIS颜色模型，HIS颜色模型的描述更接近人的视觉对颜色的感知方式，它包含色相、饱和度和亮度三要素。根据对颜色的研究结果，结合有关评级标准，就可选定区别不同色度等级的色相阈值，计算出此值下的累计频度值，就可完成颜色分级。

利用被采摘对象的颜色色差信息进行图像识别，对于有些被采摘对象，如果蔬的识别，采用HIS彩色模型用于颜色评价和图像处理是非常有效的。对于棉桃的识别，主要是基于棉桃的R、G、B均值几乎相等，而棉叶、棉枝的R、G、B均值相差较大。棉桃颜色差值绝大多数分布在45°线上，只有少量偏离45°线，且偏离程度较小；而棉叶和棉枝的颜色差值偏离45°线，且偏离程度较大，因此可以利用此特征差异进行图像识别。利用此色差模型可以有效地将棉桃从背景图像中分离出来。

机器视觉的作用是从三维环境图像中获得所需的信息并构造出观察对象的明确而有意义的描述。视觉包括三个过程：图像增强、特征提取和图像理解。由视觉传感器获取数字图像，经图像增强后提取颜色、形状和纹理特征参数对棉花进行分类、识别和描述。

目前获取采摘对象的三维坐标的定位方法主要有下面4种类型：1）多目立体视觉：融合多个摄像机观察到的目标特征，重构这些特征的三维原像，并计算出目标的空间坐标；2）时间差法：利用一台摄像机的多幅连续图像序列实现“从运动得到结构”，由图像匹配估计匹配点的三维坐标；3）结构光法：选择激光、微波或超声波等光源，采用光栅法、移动投光法获取距离图像和反射图像，经联合分析测出物体的形状和空间分布；4）传感器融合：由视觉传感器获取原始平面图像，计算其形心坐标，再利用测距传感器测量目标的深度信息。就上述4种定位方式来说，立体视觉具有投资小、能与采摘机器人的自动导航共用一套立体视觉系统、能与前期采摘对象的识别和分类等处理共用一种视频源，因此是一种首选的解决方案。