[发明专利]一种基于视觉选择注意机制的水果采摘顺序规划方法

说明书

本发明公开了一种基于视觉选择注意机制的水果采摘顺序规划方法，包括果实图像采集与配准、果实视觉显著性计算、果实目标识别与分割、果实采摘决策属性分析，然后将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；再根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。本发明能够在能耗相对较低情况下采摘到质量更高的果实，对促进我国水果产业增产增收和自动采摘装备智能化具有实用意义。

技术领域

本发明属于农业机器人视觉仿生领域，具体涉及一种基于视觉选择注意机制的水果采摘顺序规划方法。

背景技术

随着智慧农业的起步，智慧农业系统的应用越来越多，水果采摘机器人是智慧农业中的新兴领域，如何提高水果采摘的效率和质量一直是本领域的研究重点。目前，基于视觉的水果采摘机器人，其采摘方法主要有两种：(1)采用相机不断地从多个随机方向拍照，直到发现水果目标，然后控制机器人采摘；但是，这种做法会加重机器人对环境的不确定性，浪费大量的重复动作，导致效率较低。(2)采用相机在较远处拍摄图像，一次检测出当前场景下的所有水果目标，然后控制机器人逐个采摘；但是这种做法产生了一个问题，即如何确定机器人先摘哪个后摘哪个果实。针对这个问题，主要有两种采摘方法，一是按照从左到右、从上到下的顺序去采摘，但是没有考虑水果距离机器人的远近，无法确保效率；二是规划整个采摘过程的最短路径去采摘，以减少机器人的消耗，提高机器人的采摘效率。然而，以上这些水果采摘方法都忽视了所采摘水果的质量，导致容易采摘到质量参差不齐的水果，增加了后续的水果品质分拣工作繁重的负担，人工成本居高不下，直接影响到果农的整体收益。因此，如何同时兼顾机器人采摘效率和水果采摘质量，设计一种更优的水果采摘方法，是迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种基于视觉选择注意机制的水果采摘顺序规划方法，利用视觉显著性表征水果品质状态，引入目标距离等决策因素，使水果采摘机器人能够在较短时间内采摘到质量更高的果实，实现同时提高水果采摘效率和质量，降低水果采摘成本。

本发明的目的通过下述技术方案实现：

一种基于视觉选择注意机制的水果采摘顺序规划方法，包括以下步骤：

(1)果实图像采集与配准：采集水果机器人采摘域的果实图像，获得配准图像和深度图像；

(2)果实视觉显著性计算：基于水果的色泽特征建立视觉选择注意机制模型，生成配准图像的视觉显著图；

(3)果实目标识别与分割：对果实目标进行识别与分割，获得分割出的果实区域；

(4)果实采摘决策属性分析：分割出的果实区域与视觉显著图、深度图像匹配，得到各果实区域对应的视觉显著信息和深度信息，计算出各果实的均显著度、中心深度值和遮挡系数；

(5)果实采摘优先级排序：将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；

(6)根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。

所述步骤(1)中，所述采集水果机器人采摘域的果实图像，是基于深度相机Kinectv2采集彩色图像RGB与深度图像Depth，将获取的彩色图像RGB与深度图像Depth配准并去除水果机器人采摘域外的图像信息，得到仅包含采摘域内信息的配准图像。

所述步骤(2)中，所述基于水果的色泽特征建立视觉选择注意机制模型，包括以下步骤：

(2-1)分离配准图像的R，G，B通道并分别进行直方图均衡化，合并各通道图像形成增强后的配准图像；