[发明专利]基于深度学习与多维信息融合聚类的果实采摘点识别方法

说明书

本发明提出基于深度学习与多维信息融合聚类的果实采摘点识别方法。首先Yolo算法识别目标采摘果实，并确定目标采摘果实的采摘点感兴趣区。然后对感兴趣区的深度图像进行孔洞填充和空间边缘保留滤波处理，选取预处理后的深度信息以及筛选后的彩色图像颜色分量，自适应融合组成多个维度的数据样本。使用上述数据样本对采摘点感兴趣区进行基于K‑means的聚类，最后经过形态学处理中的去除小面积连通区域、开运算、图像细化，实现了对果梗的准确识别，并根据果梗信息定位果实采摘点。通过采用以上多种方法联合识别，提高了算法的准确率和鲁棒性，为农业采摘机器人提供了可靠的采摘点位置信息。

技术领域

本发明属于机器人农业采摘领域，尤其涉及基于深度学习与多维信息融合聚类的果实采摘点识别的方法，适用于植物工厂或植物大棚中采摘机器人通过剪梗的方式进行采摘的场景。

背景技术

农业作为国民经济的基础产业，正在被互联网、大数据、人工智能等新科技进行重构和升级，人工智能已经成为农业现代化发展的重要方向。农业机械化是建设现代化农业的基础，农业机器人的出现给予了农业机械化一个崭新的实现方法，是机器人技术和人工智能技术发展的必然产物。采摘作业季节性强、劳动强度大、费用高，因此保证果实适时采收、降低收获作业费用是农业增收的重要途径。又因采摘作业的复杂性，采摘自动化程度依然很低。人力成本的上升导致果蔬采摘成本大幅提高，采摘机器人逐渐成为研究热点。

采摘机器人作为一种智慧农业装备，不仅集成了机器人、传感和控制等先进技术，而且需要适应复杂的农业场景，因此其开发和研制具有很高的技术难度。目前制约采摘机器人性能提升的技术瓶颈主要集中在目标识别、定位与控制等方面。采摘机器人主要是通过视觉系统识别和定位目标，然后将信息传递给执行机构，由执行机构完成采摘任务。视觉系统识别的速度、准确率、鲁棒性以及对采摘环境的适应能力对机器人的工作效率和工作时长有较大影响。在现有的采摘点识别研究中，如专利公开号为CN112861654A的“一种基于机器视觉的名优茶采摘点位置信息获取方法”，该专利虽然在HSV颜色空间下使用OSTU算法对感兴趣区图像进行分割，但该方法无法筛选对图像分割有效的颜色分量，而且未考虑利用深度信息减少干扰而产生的有益分割效果，只适用于理想的采摘环境。因此，有必要对果实采摘点识别算法进行设计，以提高识别的准确率和鲁棒性，以应对复杂的农业采摘环境。

发明内容

为了克服现有的采摘点识别方法鲁棒性不强，易受果实成熟度等因素干扰的问题，本发明从提高采摘点识别准确率和鲁棒性等方面，提出一种基于深度学习与多维信息融合聚类的果实采摘点识别方法。

所述的果实采摘点识别方法适用于农业采摘机器人通过剪切果梗的方式进行采摘的场景，即果实采摘点设置在果梗处。所述农业采摘机器人采用六自由度机械臂，安装在可移动轮式机器人平台上，深度相机安装在机械臂末端。剪切果梗的采摘方式要求对果梗进行精确的识别与定位，提高果实采摘点识别的准确率会提高果实采摘的成功率、降低果实的损坏率。其中采摘环境应具备良好的光照条件，要求果实采摘区域的明度V∈[50,255]以满足光照条件。

由于采摘环境复杂，直接识别果梗会存在目标采摘果实与识别到的果梗不属于同一植物体的情况，且环境中存在其他果实的果梗，支茎，主茎等因素的干扰，直接识别果梗存在困难。因此本发明选择先选取目标采摘果实，再对目标采摘果实对应的采摘点感兴趣区进行采摘点识别。

本发明的具体技术方案为：基于深度学习与多维信息融合聚类的果实采摘点识别方法，包括以下步骤：

步骤1：采摘机器人选取目标采摘果实；

采摘机器人到达采摘位置后，深度相机采集目标采摘区域的图像，包括彩色图像和深度图像；选取彩色图像中置信度最高的果实作为目标采摘果实；获取目标采摘果实识别框坐标，其中左上角坐标是(x_min,y_min)，右下角坐标是(x_max,y_max)；

步骤2：获取果实采摘点感兴趣区；