[发明专利]基于视觉识别定位的水果自动化采摘方法及装置

摘要

本发明公开了一种基于视觉识别定位的水果自动化采摘方法及装置，方法包括如下步骤：S1、彩色图像采集；S2、提取RGB三个单通道灰度图像；S3、选取颜色分量明显的单通道图像；S4、图像预处理；S5、判断图像中是否有水果目标；S6、获取水果目标在计算机像素坐标系中的坐标；S7、将像素坐标变换为世界坐标系坐标；S8、计算抓取机械爪的平面移动量；S9、控制抓取机械爪移动，使水果目标位于摄像机成像平面中心；S10、控制抓取机械爪垂直于成像平面向前移动；S11、抓取水果目标，切断果梗；S12、抓取机械爪松开，水果落入收集箱。本发明通过图像处理与特征匹配来确定水果目标，并对目标跟踪定位来精确定位水果的位置以引导进行准确采摘，减少水果表面损伤。

主权项

1.一种基于视觉识别定位的水果自动化采摘方法，应用于采摘装置，所述采摘装置包括折叠式机械臂(1)、设置于折叠式机械臂(1)末端的抓取机械爪(2)、切割刀(3)和摄像机(11)，其特征在于，所述采摘方法包括如下步骤：S1、使用摄像机对待采摘果树进行彩色图像采集；S2、提取步骤S1中获得的彩色图像的RGB三个单通道灰度图像；S3、根据水果的颜色分量特征，选取步骤S2中RGB三个单通道灰度图像中颜色分量明显的单通道图像；S4、对步骤S3中选取的单通道图像进行图像预处理；S5、对步骤S4中预处理后的图像进行图像特征的提取，将提取结果与训练样本库进行特征匹配，判断图像中是否有水果目标，如果没有则调整折叠式机械臂(1)的末端位置，返回步骤S1，如果有则进入步骤S6；S6、获取水果目标在计算机像素坐标系中的坐标和图像中心坐标；S7、将步骤S6中得到的各水果目标在计算机像素坐标系中的坐标变换为世界坐标系中的坐标；S8、根据步骤S7中得到的水果目标在世界坐标系中的坐标，结合摄像机标定的比例因子和像素坐标差值计算设置于折叠式机械臂(1)末端的抓取机械爪(2)的平面移动量Δx和Δy；S9、控制抓取机械爪(2)在与成像平面平行的平面内移动Δx和Δy，使水果目标位于摄像机成像平面中心；S10、控制抓取机械爪(2)垂直于成像平面向前移动，移动时实时测量水果目标与抓取机械爪之间的距离；S11、抓取机械爪合拢抓取水果目标，并控制切割刀切断果梗；S12、抓取机械爪松开，水果落入收集箱；S13、若图像中有两个以上的水果目标，返回步骤S8，直至将图像中的其他水果目标采摘完毕。