[发明专利]一种基于3D视觉感知的采摘装置的控制方法

权利要求书

1.本发明的一种基于3D视觉感知的采摘装置的控制方法，其特征在于，包括：包括以下步骤：

S1，控制装置控制采摘装置沿需要采摘的水果支架下方行走；

S2，控制装置通过采摘装置的图像采集装置识别目标水果，

S3.图像采集装置通过3D颜色阈值处理以从背景中去除噪声点；

S4.控制装置使用深度学习进行成熟水果的检测和定位；

S5.选择目标水果周围的感兴趣区域以确定未成熟水果的存在；

S6.基于未成熟水果在目标水果周围的分布和数量，计算采摘路径。

其中，步骤S2中，通过使用色调、饱和度和强度颜色阈值处理来去除相邻的噪声点，

步骤S4中，包括：

S41.使用分段卷积神经网络来识别和分段像素级的对象；通过该网络，为成熟的水果创建若干遮蔽，其中一个遮蔽表示检测到的目标水果；通过与深度图像匹配，将遮蔽投影成3D点，获得目标水果在相机框架坐标中的3D位置；

S42.基于相机外部校准装置将坐标从相机框架变换到装置手臂框架；

步骤S5中，使用点云库中裁剪点云中的每个感兴趣区域中的区块的边界框，并对对应的区块进行未成熟水果的识别和计算；

其中感兴趣区域为包含目标水果和潜在的一个或多个未成熟水果的3D点云的区域；感兴趣区域被分成四层：顶层(6)、上中间层(7)、下中间层(8)和底层(9)；感兴趣区域的每层分割成九个立方体区块，所述区块构成3×3网格，所述网格的中心位于目标水果的水平中点；使得在xy平面中的位置中心区块C_C包围目标水果；外侧八个外围区块的长度和宽度等于中心区块的长度和宽度；在正视图和左侧视图中，顶层(6)和底层(9)的高度分别等于上中间层(7)、下中间层(8)高度和的一倍和两倍；夹持器(4)向上移动以区分上中间层(7)、下中间层(8)中目标水果周围的未成熟水果，上中间层(7)、下中间层(8)中的未成熟水果分布可沿高度方向变化。

2.如权利要求1所述的一种基于3D视觉感知的采摘装置的控制方法，其特征在于，夹持器(4)在三个不同的阶段中操作：在第一阶段中，夹持器(4)从下方抓取，夹持器在底层(9)中水平地移动未成熟水果；在第二阶段期间，夹持器(4)向上移动以包围目标水果并区分上中间层(7)、下中间层(8)内的未成熟水果；在第三阶段期间，如果顶层(6)中的中心区块C_C被占据，则夹持器(4)可以将目标水果拖到具有较少未成熟水果的抓取位置。

3.如权利要求1-2所述的一种基于3D视觉感知的采摘装置的控制方法，其特征在于，第一阶段是在底层(9)中的目标水果下方水平地区分未成熟水果，使用中心区块相邻无未成熟水果的区块的数量Nh来确定是使用单次推动操作还是蛇形操作；

忽略中心区块，区块中的实心箭头表示区块被未成熟水果占据，而空白箭头表示未被占据的区块；Nh为5并且大于预定阈值Th＝4，选择单次推动操作将未成熟水果推到旁边；当单次推动操作朝向未成熟水果移动时，基于占用的区块的位置，根据以下公式计算夹持器的推动操作的方向：

其中Oi是在最大的相邻已占用块组内的第i个已占用块的矢量，n是在最大的相邻已占用块组内的块的总数；参数r用于缩放Ds范数，其应保证夹具从块的外部脱离，r＝50mm；

夹持器从未占用的区块的中心移动到已占用的区块的中心，从而夹持器具有将所有区块推开的最高可能性；

如果仅中心区块Cc被占用，则Ds＝0；通过计算从夹持器的当前位置到中心区块CC的中心的最短路径来确定夹持器必须移动以推动未成熟水果的方向。如果在区块中没有检测到未成熟水果，则夹持器在该阶段没有推动动作，并且从下方笔直向上移动。

如果中心区区块相邻无未成熟水果的区块的数量Nh小于阈值数量Th，则夹持器采用水平蛇形推动操作；蛇形操作涉及向前、向左和向右三个方向的移动，夹持器将三个方向的未成熟水果推出；蛇形推动操作的总体方向是根据以下公式基于未占用区块的位置来计算的：

其中U_j是在最大的相邻未占据区块组内的第j个未占据区块的矢量，m是在最大的相邻未占据区块组内的区块的总数；在水平的蛇形推动操作期间，设备在xy平面中移动，其中蛇形运动的合成向量等于Dz，并且蛇形运动的幅度ah和推动次数Nhp根据特定的抓取场景来确定。