[发明专利]基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法

说明书

本发明公开了基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法，包括行走机构、采摘机械臂，所述行走机构上固定安装有电源、采摘收集筐和机器人控制器，所述采摘机械臂设置在行走机构上，所述采摘机械臂上设置有采摘机械手，还包括远程操控系统，所述远程操控系统包括电脑和Leap Motion体感传感器，所述Leap Motion体感传感器与电脑通讯连接，所述电脑与机器人控制器通讯连接；所述采摘机械手上设置有相机，所述相机与机器人控制器通讯连接，所述相机和机器人控制器均与电源电连接。本发明能够利用人优秀的视觉系统从复杂背景环境下辨认采摘对象，并通过非接触式体感传感器远程控制采摘机器人运动对果实进行采摘。

技术领域

本发明涉及现代农业设备技术领域，尤其涉及基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法。

背景技术

水果种植产业中，水果采摘收获大约占到整个产业工作量的50％，由于水果采摘过程中的复杂性，所以大部分水果产业区在水果采摘时依然以手工作业为主；对于某些种类的水果已经部分实现机械化采收作业，但是自动化水平仍然较低。智能化果实采摘是结合智能化和自动化技术实现果实的智能化采摘，从而降低人工劳动量，提高作业效率，其中果实的识别和定位主要以机器视觉技术为主。

在智能化果实采摘技术领域，申请号为CN201710857174.3的专利申请文件公开了一种基于机器视觉的智能水果采摘机器人，其包括行走机构、采摘机械手、视觉系统、控制系统、电源系统，控制系统分别与行走机构、采摘机械手、视觉系统、电源系统连接，控制系统、电源系统与行走机构固定连接，采摘机械手为四自由度关节型机械手且通过底座与行走机构固定连接，视觉系统的视觉传感器固定设置于采摘机械手的腕部上方，视觉系统的视觉控制模块与控制系统集成一体并与视觉传感器信号连接，视觉控制模块用于基于图像分割的全卷积网络图像处理技术对视觉传感器传送来的图像进行采摘目标定位识别，视觉控制模块将采摘目标定位信息传给控制系统，控制系统控制行走机构移动和/或机械手摘取水果并放入水果收集装置。

上述专利根据视觉系统的水果定位信息，自动控制行走机构调整位置及采摘机械手的采摘，虽然实现了水果的智能化采摘，但是还存在以下问题：由于果树上果实生长的随机性和复杂性，即果实可能单个结果，也可能成簇结果，根据上述专利的机器视觉识别算法还难以区分在叶片遮挡果实、枝条遮挡果实、以及果实间相互遮挡或重叠等复杂背景下的果实。

发明内容

有鉴于此，本发明的目的是提供基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法，能够利用人优秀的视觉系统从复杂背景环境下辨认采摘对象，并通过非接触式体感传感器远程控制采摘机器人运动对果实进行采摘。

本发明通过以下技术手段解决上述技术问题：