[发明专利]一种水果采摘智能机器人及其实现水果采摘的方法

权利要求书

1.一种水果采摘智能机器人，其特征在于，包括：无人机（1）、机器人手臂（2）、剪切机构（3）、视觉相机（4）、机器学习单元（5）、视觉定位控制单元（6）以及成熟水果识别单元（7）；所述机器人手臂（2）倒置在无人机（1）下方，剪切机构（3）设置在机器人手臂（2）末端，所述视觉相机（4）设置在无人机（1）下方，所述成熟水果识别单元（7）用于根据采集的图像信息判断水果是否成熟，并发出水果成熟信号；

所述机器学习单元（5）响应于水果成熟信号，采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗；

所述视觉定位控制单元（6）用于控制无人机定位到成熟水果附近并根据机器学习单元（5）标注的果梗信息控制机械手臂（2）携带剪切机构（3）定位到成熟水果的果梗位置进行剪切；

所述机器学习单元（5）采用基于深度学习的语义分割算法从成熟水果图像中分割和标注果实及其对应的果梗，具体步骤如下：

输入一张相机获取的原始彩色图像；

使用深度卷积神经网络提取图像特征；

使用区域候选网络提取候选框，获得感兴趣区域；

在有感兴趣区域的特征图上使用区域对齐的方法获取7*7大小的特征图；

将特征图输入水果检测分支检测果实位置以及果实种类，所述水果检测分支为两个全连接层；

将特征图输入水果语义分割分支，通过卷积层与反卷积层获取果实与果梗的像素级掩码，分割果实及其对应的果梗并进行标注。

2.根据权利要求1所述的水果采摘智能机器人，其特征在于，所述机器人手臂2具有3到6个自由度。

3.根据权利要求1所述的水果采摘智能机器人，其特征在于，所述成熟水果识别单元（7）根据采集的图像信息判断水果是否成熟的方法为：

获得水果区域的颜色空间RGB数值，计算均值和方差，若均值和方差在设定的区域范围，则判断该水果成熟，否则，该水果不成熟。

4.根据权利要求1所述的水果采摘智能机器人，其特征在于，所述无人机（1）为旋翼机。

5.基于权利要求1~4任一所述的水果采摘智能机器人实现水果采摘的方法，其特征在于，具体步骤为：

无人机遍历果园，同时，视觉相机采集图像，成熟水果识别单元根据捕捉的图像识别成熟水果，并发出成熟水果信号；

响应于成熟水果识别单元识别的成熟水果信号，无人机通过视觉定位控制单元定位到待采摘水果上方；

视觉相机采集成熟水果图像；

机器学习单元采用基于深度学习的语义分割算法获取果实及果梗的位置；

视觉定位控制单元执行基于视觉的伺服控制控制机械手臂携带剪切机构定位到采摘水果的果梗位置，剪切机构剪切果梗。