[发明专利]一种水果采摘智能机器人及其实现水果采摘的方法

说明书

本发明公开了一种水果采摘智能机器人及其实现水果采摘的方法。所述机器人包括：无人机、机器人手臂、剪切机构、视觉相机、机器学习单元、视觉定位控制单元以及成熟水果识别单元；所述机器人手臂倒置在无人机下方，剪切机构设置在机器人手臂末端，所述视觉相机设置在无人机下方。机器学习单元和视觉定位控制单元、成熟水果识别单元均设置在上位机中。本发明基于无人机和机器人手臂平台，结合成熟水果识别单元以及视觉定位控制单元实现了水果采摘机器人的三维空间移动和定位。

技术领域

本发明属于人工智能领域，具体为一种水果采摘智能机器人及其实现水果采摘的方法。

背景技术

随着机器人技术的成熟、成本的降低和推广应用，机器人已逐步进入到农业领域，并将促进现代化农业向着工业化生产、无人化和智能化的方向发展，果蔬的采摘具有季节性强、劳动强度大、环境以及作业要求高等特点，在农业生产中迫切需要机器人化作业。我国的果蔬产业发展较为突出，但农业劳动力却较少，而果蔬的采摘仍主要依靠大量的人力，不仅人工成本高而且采摘效率低；对于一些较高的果树，人工采摘较为困难，而且人工采摘还有因作业环境复杂而不小心跌倒摔伤的风险；因此研究和开发果蔬采摘机械装置对于解放劳动力、提高劳动生产效率、降低劳动成本，保证新鲜水果蔬菜品质以及满足作物生长的实时性要求等方面都有着重要意义。

采用机械采摘一方面是采摘的工作范围问题，水果分布在水平及高低三维空间，有的水果接近地面的，也有的在果树上，另一方面是对于一些易破碎的水果蔬菜，存在很大的局限性，采摘过程中极易造成机械损伤，严重影响水果的品质。所以目前的采摘机器人存在的问题：1.由于树枝和树叶的遮挡，无法准确快速的锁定采摘目标；2.采摘机器人通常采用机械手直接将水果从果梗上拉下，不能保留果梗，不利于水果保鲜且容易造成水果损伤；3.没有一个适合大范围工作(地面水果或果树)的统一采摘平台。

发明内容

本发明的目的在于提供了一种水果采摘智能机器人。

实现本发明目的的技术解决方案为：一种水果采摘智能机器人，包括：无人机、机器人手臂、剪切机构、视觉相机、机器学习单元、视觉定位控制单元以及成熟水果识别单元；所述机器人手臂倒置在无人机下方，剪切机构设置在机器人手臂末端，所述视觉相机设置在无人机下方，所述成熟水果识别单元用于根据采集的图像信息判断水果是否成熟，并发出水果成熟信号；

所述机器学习单元响应于水果成熟信号，采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗；

所述视觉定位控制单元用于控制无人机定位到成熟水果附近并根据机器学习单元标注的果梗信息控制机械手臂携带剪切机构定位到成熟水果的果梗位置进行剪切。

优选地，所述机器人手臂2具有3到6个自由度。

优选地，所述机器学习单元采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗，具体步骤如下：

输入一张相机获取的原始彩色图像；

使用深度卷积神经网络提取图像特征；

使用区域候选网络提取候选框，获得感兴趣区域；

在有感兴趣区域的特征图上使用区域对齐的方法获取7*7大小的特征图；

将特征图输入水果检测分支检测果实位置以及果实种类，所述水果检测分支为两个全连接层；

将特征图输入水果语义分割分支，通过卷积层与反卷积层获取果实与果梗的像素级掩码，分割果实及其对应的果梗并进行标注。

优选地，所述成熟水果识别单元根据采集的图像信息判断水果是否成熟的方法为：

获得水果区域的颜色空间RGB数值，计算均值和方差，若均值和方差在设定的区域范围，则判断该水果成熟，否则，该水果不成熟。