[发明专利]一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质

权利要求书

1.一种基于机器视觉的果蔬采摘方法，其特征在于，所述方法包括：

获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类；

获取所述待采摘果蔬的种类，并根据果蔬的种类确定所述待采摘果蔬的果柄上的可剪切区域，并定位剪切点；

根据确定的剪切点，控制末端采摘装置剪断所述待采摘果蔬的果柄；

所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤之前，还包括：

预先采集不同种类的果蔬的数据集，并利用Tensorflow和Keras深度学习框架搭建Mask r-cnn网络模型；

通过监督学习方式在所述数据集上进行模型学习训练，并利用训练出的模型对不同种类果蔬的数据集进行特征提取，构建出用于自动识别果蔬的果肉的神经网络模型；所述预先采集的不同种类的果蔬的数据集包括：不同种类的果蔬的果实图像、植株图像，不同成熟度的果蔬果实图像，果园、蔬菜大棚的环境图像，以及各种果蔬在果园、蔬菜大棚内待采摘状态的图像；所述获取当前待采摘果蔬的果实图像，调用预先训练好的神经网络模型对所述果实图像进行识别，并判断所述待采摘果蔬的种类的步骤，包括：

利用预设在采摘装置上的摄像头设备获取待采摘果蔬的果实图像，并对所述果实图像进行预处理；

对预处理后的果实图像进行特征提取，并调用神经网络模型对提取的特征进行识别；

根据识别结果判断所述待采摘的果蔬的种类；

所述对预处理后的果实图像进行特征提取，并调用神经网络模型对提取的特征进行识别的步骤包括：

调用Mask r-cnn主干网络提取出预处理后的果实图像的特征图，并使用区域建议网络生成目标的建议框；

从所述建议框中选取感兴趣区域，并对所述感兴趣区域进行类别识别，输出识别结果；

在识别出待采摘的果蔬的种类的基础上，判断对应的果柄的大致长度，并利用Mask r-cnn算法预测出果肉区域的位置和对应的掩膜的基础上，用几何算法框选出果柄区域；

所述末端采摘装置的采摘夹包括压紧板、切刀、支撑板、切槽、夹持板、第一弹性件、第二弹性件和连接组件；所述压紧板、所述夹持板和所述支撑板依次设置；所述切刀设置在所述压紧板朝向所述支撑板一面；所述切设置在所述支撑板上，并与所述切刀对应配合；所述压紧板、所述夹持板和所述支撑板均与所述连接组件连接，且均可相对于所述连接组件旋转；所述第一弹性件的两个自由端分别与所述压紧板、所述支撑板连接；所述第二弹性件的两个自由端分别与所述压紧板、所述夹持板连接；自然状态下，所述第一弹性件的两个自由端之间的距离大于所述第二弹性件的两个自由端之间的距离，使得所述第一弹性件、所述第二弹性件均处于自然状态时，所述压紧板、所述夹持板、所述支撑板相互分离；

当分别把持所述压紧板和所述支撑板，并将两者相互靠拢时，所述第一弹性件被压缩，由于所述夹持板与所述支撑板之间的距离小于所述压紧板与所述支撑板之间的距离，所述压紧板带动所述第二弹性件朝向所述支撑板移动，同时所述夹持板朝向所述支撑板移动，且最先与所述支撑板接触；继续按压所述压紧板，所述第一弹性件和所述第二弹性件均被压缩，所述切刀可插入所述切槽内；

所述采摘夹直接固定在工业机械人的机械臂上，通过机械臂操作所述采摘夹的支撑板和压紧板相互靠拢，完成剪切果柄动作；

使用卷积神经网络模型的反复训练和模拟来计算机器人操作手臂运动至所述剪切点的路径；所述剪切点是一个在所述图像上的二维坐标，利用Point Cloud2将所述二维坐标转化成对应摄像头的三维空间坐标；

通过摄像头与末端采摘装置基底，即机器人手臂的坐标转换矩阵，得到基于机器人手臂的三维坐标；

所述卷积神经网络包含三个卷积层和三个全连接层，建立有从所述三维坐标到机器人手臂的N个自由度的映射，通过训练好的卷积神经网络，将所述三维坐标转化为机器人手臂的N个自由度的转化角，使机械人手臂达到所述剪切点。

2.根据权利要求1所述的基于机器视觉的果蔬采摘方法，其特征在于，所述数据集中包括不同种类的果蔬的果实图像。

3.根据权利要求1所述的基于机器视觉的果蔬采摘方法，其特征在于，所述对所述果实图像进行预处理的步骤包括：对所述果实图像进行降噪、补光以及白平衡处理，以提高所述果实图像的质量。