[发明专利]基于视觉识别定位的水果自动化采摘方法及装置

权利要求书

1.一种基于视觉识别定位的水果自动化采摘方法，应用于采摘装置，所述采摘装置包括折叠式机械臂(1)、设置于折叠式机械臂(1)末端的抓取机械爪(2)、切割刀(3)和摄像机(11)，其特征在于，所述采摘方法包括如下步骤：

S1、使用摄像机对待采摘果树进行彩色图像采集；

S2、提取步骤S1中获得的彩色图像的RGB三个单通道灰度图像；

S3、根据水果的颜色分量特征，选取步骤S2中RGB三个单通道灰度图像中颜色分量明显的单通道图像；

S4、对步骤S3中选取的单通道图像进行图像预处理；

S5、对步骤S4中预处理后的图像进行图像特征的提取，将提取结果与训练样本库进行特征匹配，判断图像中是否有水果目标，如果没有则调整折叠式机械臂(1)的末端位置，返回步骤S1，如果有则进入步骤S6；

S6、获取水果目标在计算机像素坐标系中的坐标和图像中心坐标；

S7、将步骤S6中得到的各水果目标在计算机像素坐标系中的坐标变换为世界坐标系中的坐标；

S8、根据步骤S7中得到的水果目标在世界坐标系中的坐标，结合摄像机标定的比例因子和像素坐标差值计算设置于折叠式机械臂(1)末端的抓取机械爪(2)的平面移动量Δx和Δy；

S9、控制抓取机械爪(2)在与成像平面平行的平面内移动Δx和Δy，使水果目标位于摄像机成像平面中心；

S10、控制抓取机械爪(2)垂直于成像平面向前移动，移动时实时测量水果目标与抓取机械爪之间的距离；

S11、抓取机械爪合拢抓取水果目标，并控制切割刀切断果梗；

S12、抓取机械爪松开，水果落入收集箱；

S13、若图像中有两个以上的水果目标，返回步骤S8，直至将图像中的其他水果目标采摘完毕。

2.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于：所述步骤S4具体包括如下子步骤：

S41、对图像进行去噪处理；

S42、对图像进行增强处理；

S43、对图像进行二值化处理。

3.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于：所述步骤S5具体为：

判断图像中是否有水果目标基于圆形度计算进行，圆形度根据所提取图像特征区域的面积、周长计算得到，其计算公式为：

e＝(4π×S)/L²；

其中e为圆形度，S为面积，L为周长；

设置e的阈值，当所提取图像特征区域的圆形度小于设定的阈值的时候，认为是背景区域，当所提取图像特征区域的圆形度大于设定的阈值时，则认为是有水果目标区域，从图像中把水果目标分离出来。

4.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于：所述步骤S6具体包括以下子步骤：

S61、对摄像机进行标定；

S62、对获取图像进行极限校正；

S63、获取水果目标的计算机图像坐标。

5.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于，所述步骤S8中，如果Δx<A，Δy<B，其中A，B为系统给定的折叠式机械臂的偏移量位移，则进行下一步骤，否则折叠式机械臂运动，返回至步骤S1。

6.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于，所述步骤S8中，水果目标在图像中的成像大小与摄像头到水果目标的距离成反比，根据此关系计算出水果目标与抓取机械爪之间粗略的距离。

7.根据权利要求1所述的基于视觉识别定位的水果自动化采摘方法，其特征在于，所述步骤S10中，使用超声波测距传感器测量水果与抓取机械爪之间的距离Δd，当Δd<C时，控制折叠式机械臂停止运动，其中C是系统给定的抓取机械爪与水果之间的位移。