[发明专利]一种用于并联机器人的堆叠串类水果主果梗识别和提取方法

权利要求书

1.一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于，包括如下步骤：

步骤1，对堆叠串类水果主果梗识别和提取的数据集构建和扩充；

步骤2，对堆叠串类水果主果梗提取小对象特征的卷积神经网络的构建，包括图像输入、特征提取和分类三部分；

所述步骤2具体如下：

步骤2.1，图像输入部分：

基于数据集中标签框的真实值大小设计图像输入层的神经元数量，首先根据获取的堆叠串类水果数据集，统计标签框的真实值大小，根据式(1)～(2)求取数据集中标签框的真实值宽度均值Wa和高度均值Ha，其中Wi和Hi分别为第i个主果梗标签框真实值的宽度和高度，n为参与统计的主果梗标签框的数量；

为减少图像失真和保留更多的原始图像信息，基于宽度均值Wa和高度均值Ha设计图像输入层的神经元数量，同时通过将输入图像减去堆叠串类水果数据集的平均图像实现对图像输入层中输入数据的归一化处理；

步骤2.2，特征提取部分：

主要包括了卷积结构和全连接结构；

卷积结构包括了无图像尺度变化的卷积层、具有较小图像尺度变化的最大池化层和平均池化层、ReLu激活函数，通过三次无图像尺度变化的卷积和具有较小图像尺度变化的池化，获取原始图像上表针主果梗信息的特征图，降低原始特征信息的丢失；

对于卷积层，基于式(3)计算卷积层初始参数，使得卷积层的输入和输出特征图尺度一致，其中os_c为卷积层输出特征图的长或宽，is_c为卷积层输入特征图的长或宽，fs为卷积层滤波器的大小，p_c为填充大小，s_c为步长，对图像进行边缘填充，降低卷积过程中边缘信息的丢失；

对于池化层，包括了最大池化层和平均池化层，均基于式(4)计算池化层初始参数，使得池化层的输出特征图以2倍下采样输入特征图，其中os_p为池化层输出特征图的长或宽，is_p为池化层输入特征图的长或宽，ps为池化大小，p_p为填充大小，s_p为步长；

对于ReLu激活函数，基于式(5)对输入的每个元素执行阈值操作，所有小于0的值均设置为0，用以减少数据冗余，保留重要特征；

对于全连接结构，主要包括了ReLu激活函数、全连接层和丢弃层，为防止过拟合，将网络中加入了丢弃层，在训练时随机设置某些元素权值为0，通过增加全连接层的数量，用以提高网络对提取的特征图的学习能力；

步骤2.3，分类部分：主要包括了Softmax层和分类输出层；

步骤3，构建堆叠串类水果主果梗数据集的CNN架构和设计的由粗到精和参数分享策略改进现有Faster R-CNN模型；

步骤4，对堆叠串类水果主果梗数据集多迁移学习策略的网络训练和基于可视化分析的网络精度测试；

步骤5，在已训练网络模型的基础上对堆叠串类水果主果梗识别和提取。

2.根据权利要求1所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：所述步骤1中，

采用用于学习图像的边缘、轮廓、纹理以及角点的一般特征的具有多种对象的大数据集，并构建了用于学习堆叠串类水果的水果串特征和主果梗特征的小数据集。

3.根据权利要求2所述的一种用于并联机器人的堆叠串类水果主果梗识别和提取方法，其特征在于：具体包括了堆叠串类水果数据集和堆叠串类水果主果梗数据集，同时，采用图像处理方法对数据集进行变换和扩充，具体方法包括了图像多种角度的旋转、图像的水平镜像、图像的垂直镜像、图像的中心镜像、图像的多种尺度变化、图像的多种加噪处理，并将基于相机标定参数配准后的图像用以进一步扩充构建的小数据集，以增加数据集分布范围，并进一步用以提高网络对堆叠串类水果特征和堆叠串类水果主果梗特征的学习能力。