[发明专利]一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法

权利要求书

1.一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法，其特征在于，包括如下步骤：

步骤1，基于Kinect传感器和并联机器人水果分拣系统共同构建堆叠串类水果的立体视觉检测系统；

步骤2，对堆叠串类水果抓取优先级确定的深度数据集构建与扩充，通过设计深度参照物构建了深度级别分布均匀的预训练数据集；

步骤3，基于少池化多全连接层的卷积神经网络架构的主果梗深度集分级模型构建,包括图像输入、特征提取和分类三部分；

所述步骤3具体如下：

步骤3.1，图像输入部分：在图像输入部分需要设计输入图像尺寸，基于实际主果梗深度图像的原始感兴趣区域大小的均值进行网络输入层的设计，首先统计在感兴趣区域剪切之后，尺度变换之前的获取到的区域大小，计算其高度和宽度均值，并取其整数作为网络输入图像尺寸；

步骤3.2，特征提取部分：主要包括了卷积结构和全连接结构，

卷积结构包括了无图像尺度变化的卷积层、具有图像尺度变化的最大池化层和平均池化层、ReLu激活函数，通过三次无图像尺度变化的卷积和具有图像尺度变化的池化，获取原始图像上表针主果梗深度信息的特征图；

对于卷积层，基于式(1)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度一致，其中os_c为卷积层输出特征图的长或宽，is_c为卷积层输入特征图的长或宽，fs为卷积层滤波器的大小，p_c为填充大小，s_c为步长，对图像进行边缘填充，降低卷积过程中边缘信息的丢失；

对于池化层，包括了最大池化层和平均池化层，均基于式(2)计算池化层初始参数，使得池化层的输出特征图以2倍下采样输入特征图，其中os_p为池化层输出特征图的长或宽，is_p为池化层输入特征图的长或宽，ps为池化大小，p_p为填充大小，s_p为步长；

对于ReLu激活函数，基于式(3)对输入的每个元素执行阈值操作，所有小于0的值均设置为0，用以减少数据冗余，保留重要特征；

对于全连接结构，主要包括了ReLu激活函数、全连接层和丢弃层，为防止过拟合，将网络中加入了丢弃层，在训练时随机设置某些元素权值为0；

步骤3.3，分类部分：主要包括了Softmax层和分类输出层，基于检测平面到Kinect传感器的深度相机之间的距离离散化后的深度级别的数量，设计Softmax层和分类输出层尺寸；

步骤4，对主果梗深度集分级模型进行多迁移学习策略的网络训练和可视化分析的网络精度测试；

步骤5，在构建的网络模型基础上对在线主果梗深度集分级和抓取优先级确定。

2.根据权利要求1所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法，其特征在于：所述步骤1具体如下：

将Kinect传感器置于分拣系统的检测平台上方，检测平台中心轴线处，为减少硬件带来的测量误差，选择Kinect传感器的物距500～2000mm之间，靠近光轴中心，深度检测误差2mm的位置作为视觉检测范围，根据并联机器人水果分拣系统中，检测平面大小900*860mm²，水果串堆叠的高度范围0～200mm，选择检测平台到Kinect传感器的距离为550～750mm根据三角公式求得传感器在550mm和750mm时分别的视场平面大小为770.2*635.1mm²和1050.3*866.1mm²，因此选择物距为750mm的平面作为检测平面，构建堆叠串类水果的立体视觉检测系统。

3.根据权利要求1所述的一种用于并联机器人的基于主果梗深度的堆叠串类水果抓取优先级确定方法，其特征在于：所述步骤2中，构建深度级别分布均匀的参照物深度数据集，采用图像处理方法对数据集进行变换和扩充，对参照物深度图像进行感兴趣区域提取，得到仅包含参照物深度信息的参照物深度数据集，构建堆叠串类水果的主果梗深度数据集。