[发明专利]一种串型水果分布式视觉主动感知方法及其应用

说明书

本发明公开了一种串型水果分布式视觉主动感知方法及其应用。本发明采用大视场相机获取果树的大视场图像，以进行大视场目标感知，得到各个串型水果目标的采摘优先级，同时确定二次感知的各采摘预备点；然后驱动机械手到达一个采摘预备点后，小视场相机随着机械手运动，近距离感知和观察串型水果，获取动态的小视场图像，实现小视场目标的主动感知与采摘智能决策。本发明可以减少采摘作业信息决策不足和机械手作业活动冗余的技术问题，有效提高串型水果的采摘效率。

技术领域

本发明涉及水果智能采摘领域，特别涉及一种串型水果分布式视觉主动感知方法及其应用。

背景技术

我国是龙眼、葡萄、荔枝等串型水果的主要生产国，种植和生产总量位居世界前列，具有巨大的经济潜力。但目前这些串型水果的收获基本依靠人工采摘，劳动强度大，采摘费用高。人工采摘的过程包括肉眼判断水果成熟度和品质，然后结合工具进行手工采摘。有研究表明，在整个水果种植生产过程中，采摘水果所耗费的劳动力占水果种植劳动力总量的35％～45％。随着果园发展的规范化、规模化，人工采摘成本会变得更高。近年来，随着智能机器人的发展，采摘机器人的研究和应用越来越多，给果园管理和水果采摘带来一定的效益。水果采摘机器人在采摘水果之前，需要先将机器人人工或自动移动到果树前，然后通过视觉传感器将水果从复杂的果园环境中识别出来，再根据水果空间信息进行水果的定位、选择和采摘。目前水果采摘机器人的研究重点主要是单个水果的识别采摘，比如苹果、猕猴桃和草莓等，而对串型水果的识别方法较少，因此迫切需要开展串型水果采摘机器人的相关研究。

目前，水果采摘机器人的视觉系统主要是单一集中式系统，在同一时刻，视觉传感器仅获取采摘对象及其狭小空间范围的视觉信息，这些视觉信息可以辅助机器人近距离摘落水果，但不能帮助机器人获取果树大范围的水果分布信息，难以对水果采摘顺序进行规划，因此整体采摘效率较低。

水果采摘机器人获取水果采摘点信息的传感器主要包括二维的单目视觉、多目视觉、三维kinect、红外设备和激光设备等；水果具体采摘点的识别是单次规划的，即水果采摘机器人移动到目标水果前，根据此时的视觉信息确定采摘点和采摘任务。如果水果和采摘点干扰较少，则采摘成功；如果干扰较大，则可能导致采摘任务失败，即受复杂的野外采摘环境、视觉系统限制、角度、遮挡和光照条件变化等因素影响，采摘机器人的小视场视觉系统容易丢失采摘目标，从而导致采摘任务失败。因此，如何重新确定最佳的采摘角度、位置和采摘姿态，成为水果智能采摘领域亟需解决的重要问题。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种串型水果分布式视觉主动感知方法，可以实现采摘场景下大视场目标感知与小视场采摘决策的联合协作，有效解决采摘作业信息决策不足和机械手作业活动冗余的问题，提高串型水果识别率，有效降低采摘遮挡或重叠水果的不确定性，提高串型水果的采摘效率。

本发明的另一目的在于提供一种串型水果采摘机器人，采用上述串型水果分布式视觉主动感知方法进行串型水果采摘。

本发明的目的通过下述技术方案实现：

一种串型水果分布式视觉主动感知方法，包括下述步骤：

(1)确定多类视觉传感器信息的耦合关系，布置分布式视觉方案；

(2)采用大视场相机获取果树的大视场图像，以进行大视场目标感知：即利用实例分割网络(Mask R-CNN)对大视场图像中的串型水果目标进行检测和识别，获得串型水果的空间信息，利用视觉显著性算法评估大视场图像中的串型水果目标的品质状态，然后根据串型水果目标的空间信息和品质状态进行多目标采摘顺序规划，得到各个串型水果目标的采摘优先级，同时确定二次感知的各采摘预备点；