[发明专利]一种基于双目视觉的菠萝采摘机器人

权利要求书

1.一种基于双目视觉的菠萝采摘机器人，其特征在于：包括移动车本体(100)，所述移动车本体(100)下端设置行走轮(10)；所述移动车本体(100)两侧分别设置菠萝收集槽(20)；所述移动车本体(100)前端设置视觉检测装置(30)；所述移动车本体(100)中部设置多组两自由度移动机构(40)；所述两自由度移动机构(40)上设置末端执行器(50)，且所述两自由度移动机构(40)与视觉检测装置(30)通过远程传输模块交互；

所述末端执行器(50)包括连接角件(51)、支撑杆(52)、托板(53)、倾斜挡板(54)、切割刀片(55)、旋转斜挡板(56)以及固定斜挡板(57)；所述连接角件(51)固定设置在两自由度移动机构(40)上且连接角件(51)下端与支撑杆(52)固定连接；所述支撑杆(52)远离连接角件(51)一端的两侧分别通过固定角件(520)与一托板(53)固定连接且两块所述托板(53)组成“Y”形口结构、即两块托板(53)之间的距离由靠近支撑杆(52)端向远离支撑杆(52)端逐渐增大；两块所述托板(53)的上端面且位于支撑杆(52)靠近“Y”形口结构的一侧依次固定设置倾斜挡板(54)与切割刀片(55)且所述倾斜挡板(54)与支撑杆(52)固定连接、所述切割刀片(55)位于倾斜挡板(54)远离支撑杆(52)的一侧，倾斜挡板(54)由靠近支撑杆(52)向远离支撑杆(52)的一侧倾斜；靠近所述菠萝收集槽(20)的托板底端固定设置一翻转舵机(530)，所述翻转舵机(530)输出端固定连接旋转斜挡板(56)且所述旋转斜挡板(56)位于对应托板(53)远离“Y”形口结构的一侧侧面；远离所述菠萝收集槽(20)的托板(53)固定设置一固定斜挡板(57)且所述固定斜挡板(57)位于对应托板(53)远离“Y”形口结构的一侧侧面；所述旋转斜挡板(56)与固定斜挡板(57)之间的距离由靠近支撑杆(52)到远离逐渐增大；

所述两自由度移动机构(40)包括水平移动模块(41)与竖直移动模块(42)；

所述水平移动模块(41)包括水平滑轨(411)、第一电机(412)、同步带轮(413)、传动带(414)、连接板(415)以及压板(416)；所述水平滑轨(411)设置在所述移动车本体(100)上且水平滑轨(411)上侧两端分别通过第一电机座(4120)固定设置第一电机(412)、通过第一轴承座(4130)固定设置同步带轮(413)；所述第一电机(412)输出轴与同步带轮(413)通过传动带(414)连接；所述水平滑轨(411)上侧且位于第一电机(412)与同步带轮(413)之间设置连接板(415)，所述连接板(415)与水平滑轨(411)滑动连接；所述连接板(415)上侧通过设置压板(416)与传动带(414)连接；

所述竖直移动模块(42)包括丝杠座(421)、竖直滑轨(422)、第二轴承座(423)、第二电机(424)、丝杠(425)以及滑块(426)；所述丝杠座(421)上端面与连接板(415)下端面固定连接且丝杠座(421)底面一侧固定设置竖直滑轨(422)、水平滑轨(411)中部对应丝杠座(421)与竖直滑轨(422)设置一通槽；所述竖直滑轨(422)远离丝杠座(421)的一端通过第二电机座(4240)固定设置第二电机(424)；所述第二电机座(4240)上侧设置第二轴承座(423)且第二轴承座(423)与竖直滑轨(422)固定连接，所述第二电机(424)输出轴贯穿第二电机座(4240)且固定连接一丝杠(425)，所述丝杠(425)远离第二电机(424)的一端贯穿第二轴承座(423)且与丝杠座(421)转动连接、丝杠(425)与第二轴承座(423)转动连接；所述滑块(426)套接在所述丝杠(425)外壁且滑块(426)与丝杠(425)螺纹连接、滑块(426)与竖直滑轨(422)滑动连接；

所述视觉检测装置(30)包括双目立体相机与控制系统，其获得菠萝果实位置的具体步骤为：

首先通过双目立体相机实时采集菠萝种植田内的图像；然后，控制系统通过深度神经网络YOLOv5从采集图像中检测菠萝果实，并利用双目立体视觉方法获得菠萝果实的三维点云；随后，控制系统通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置；最后，控制系统通过手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标，即菠萝果实在水平、竖直、前后方向上相对于末端执行器(50)的数据，并通过远程传输模块传递给行走轮(10)的控制电机、第一电机(412)以及第二电机(424)，控制末端执行器(50)的位置运行、实现菠萝果实的采摘；

所述利用双目立体视觉方法获得菠萝果实的三维点云具体步骤为：

首先，使用立体标定算法求解双目立体相机左、右侧摄像机的内外参数，进而建立严格对齐的立体相机；然后，采用基于归一化互相关系统的立体匹配算法，搜索左图像在右图像上的匹配点，获得两个对应匹配点在水平方向上的差值、即视差值，拟合所有视差值从而获得稠密视差图I(x,y)，稠密视差图I(x,y)上记录了左图像各像素点的视差值；最后，将通过稠密视差图获得菠萝果实的三维点云，具体为：

式中，b表示左、右相机的基线距离，根据实际采用的双目立体相机获得；(x_i,y_i)表示左图像上任意一点像素点的坐标，其中，i＝1、2、……、n-1、n；d表示像素点(x_i,y_i)的视差值；f表示双目立体相机的物理焦距，根据实际采用的双目立体相机获得；(x_c,y_c,z_c)表示像素点(x_i,y_i)在双目立体相机的左相机坐标系上的三维坐标；

拟合所有左图像上像素点(x_i,y_i)的三维坐标，即得三维点云。