[发明专利]一种基于双目视觉的柑橘采摘机器人及其实现方法

权利要求书

1.一种基于双目视觉的柑橘采摘实现方法，其特征在于：采用基于双目视觉的柑橘采摘机器人作为执行机构进行采摘，包括下述步骤：

(1)首先，柑橘采摘机器人进行位置的初始化，即三维空间坐标的初始化；双摄像头图像识别相机获取柑橘所处的空间位置，事先确定某一参照位置，通过双目测距技术计算得到柑橘三维空间坐标即柑橘在水平、竖直、前后方向上相对于左摄像头光心的距离数据，然后通过坐标转换规则将柑橘三维空间坐标转换成机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据；

(2)根据所获得的柑橘在水平方向上相对于机械爪的距离数据，计算出移动平台需在水平方向移动的距离；移动平台与同步带连接并随同步带进行水平方向上的移动，移动平台所处位置由固定于底座支撑机构上的超声波测距机构确定；

(3)根据所获得的柑橘在竖直方向上相对于机械爪的距离数据，确定控制同步带直线模组滑台的升降步进电机的转动圈数，带动同步带直线模组滑台滑块进行竖直方向上的精确移动；

(4)根据所获得的柑橘在前后方向上相对于机械爪的距离数据，确定丝杆导轨滑台上的伸缩步进电机需转动的圈数，通过控制丝杆导轨滑台上伸缩步进电机的转动圈数，使末端执行机构进行水平方向与竖直方向的综合移动；

(5)末端执行机构准确靠近目标柑橘后，机械爪由张开状态缓慢闭合，直到内嵌的压力传感模块探测到有柑橘被抓取，则停止闭合机械爪，实现抓取柑橘动作，再通过模拟人工采摘的上抬动作，以达到果梗与相连接果枝的分离；

其中，在柑橘采摘过程中采用下述控制步骤：

(1)PC视觉处理端通过基于视觉的自动识别果实方法识别果实，然后通过基于双目视觉的定位方法来定位果实位置，再通过蓝牙模块发送机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据到嵌入式主控制端；

(2)嵌入式主控制端接收到机器坐标后，利用超声波模块作为距离反馈器件来控制直流电机，使机器人整体移动到机器坐标系Yr轴的目标位置，通过数学公式解算出伸缩步进电机和升降步进电机需要移动的距离，通过步进电机驱动器驱动伸缩步进电机和升降步进电机，使末端执行机构到达目标位置，嵌入式主控制端通过无线通信模块发送夹持信号给嵌入式从控制端；

(3)嵌入式从控制端接收到夹持信号后，控制末端执行机构对果实进行抓取，抓取完成后发送抓取完成信号给嵌入式主控制端，嵌入式主控制端控制Xr轴上的伸缩步进电机、Yr轴上的直流电机、Zr轴上的升降步进电机回到初始位置，并发送张开信号给嵌入式从控制端来控制末端执行机构松开果实，完成一次采摘动作；

(4)嵌入式主控制端通过无线通信模块发送采摘完成信号到PC视觉处理端，再循环开始步骤(1)的动作；

所述基于视觉的自动识别果实方法，包括下述步骤：

(1)获取双摄像头图像识别相机拍摄的RGB三通道图像；

(2)对图像进行色彩分割，即提取图像的R通道分量和G通道分量，并用R通道分量减去G通道分量获得一个红、橙、黄等颜色高亮度，绿色为低亮度的新图像分量；

(3)使用Otsu自适应阈值法对新图像分量进行二值化，获得成熟果实为白色，背景绿叶为黑色的二值图像；

(4)对二值图像用Canny边缘检测算法提取图像边缘；

(5)利用霍夫变换检测圆，在图像边缘中提取圆形的边缘；

(6)筛选无效区域，把圆形的边缘内部包括区域提取为ROI区域，计算步骤(3)中生成的二值图像中各ROI区域的平均灰度值，若ROI区域的平均灰度值高于128，则该ROI区域为图像中果实所处区域；

(7)若步骤(6)中无平均灰度值高于128的ROI区域，则可判断该图像中无成熟果实；

所述基于双目视觉的柑橘采摘机器人，包括三自由度移动机构、末端执行机构、双目测距视觉识别机构、超声波测距机构、底座支撑机构和嵌入式主控制端；三自由度移动机构整体位于底座支撑机构之上，三自由度移动机构包括移动平台、同步带直线模组滑台、丝杆导轨滑台，移动平台固定在同步带的上端，同步带直线模组滑台竖直固定于移动平台的上方，丝杆导轨滑台通过升降伸缩机构连接件与同步带直线模组滑台连接，并与同步带直线模组滑台呈15～30度的倾斜角度；末端执行机构固定在丝杆导轨滑台的末端；双目测距视觉识别机构固定在同步带直线模组滑台的顶端；超声波测距机构中的超声波模块固定于底座支撑机构之上；所述移动平台由铝型材搭建而成，通过梯形螺母、螺丝及角件进行连接；电机固定架与轴承固定架分别固定在底座支撑机构的左右两侧；直流电机固定在电机固定架上，两个整体径向滑动轴承固定在轴承固定架上，传动杆通过过盈配合连接固定于两个整体径向滑动轴承的轴承孔内；第一同步带轮通过螺纹紧固连接安装于直流电机的电机轴上，第二同步带轮通过螺纹紧固连接固定于传动杆上，同步带的两端分别与第一同步带轮、第二同步带轮连接，同步带固定件固定于移动平台的一侧。