[发明专利]一种基于双目视觉和多光谱检测技术的菠萝自动分级分拣方法及装置

说明书

本发明公开了一种基于双目视觉和多光谱检测技术的菠萝自动分级分拣方法及装置，是先采用双目视觉系统检测菠萝的大小和颜色成熟度，进行菠萝的外部品质分级；然后采用多光谱检测菠萝的内部是否损伤，根据正常菠萝与黑心菠萝的内部含水量与碳水化合物含量的光谱曲线特征，检测判断菠萝的内部质量，进行菠萝的内部品质分级；最后再根据上述的检测结果进行菠萝的自动分级分拣。本发明的方法可以对菠萝进行准确、高效地自动分级分拣，算法速度快、运算量少，可适用于配置不高的主机设备，成本低，非常适合田间作业；装置成本低、结构简单、部件体积较小、操作方便。

技术领域

本发明涉及果蔬分拣技术领域，特别涉及一种基于双目视觉和多光谱检测技术的菠萝自动分级分拣方法及装置。

背景技术

菠萝是中国南方四大名果之一，其需求量和种植量都在不断增大。大力发展菠萝的收集和分拣机械化，对推动菠萝产业结构调整、促进菠萝产品价值提升、提高果农收入等具有重要意义。在菠萝的加工或者销售前都要进行分级分拣收集，现有的同类分拣方法大都是在人工采摘后，把菠萝搬运到果场，然后再人工简单地根据菠萝的大小、颜色进行分类分拣。这种根据人们的感官进行筛选，没有明确的指标，很难保证分类的准确性，也很难检测出黑心的菠萝，而且工作劳动强度大，费事费力，工作效率低下。因此，本发明提出一种菠萝自动分级分拣方法及装置，该装置放到果园的运输车上，跟随采摘，同时进步自动检测与分级传输。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种分级分拣准确度高、使用方便的基于双目视觉和多光谱检测技术的菠萝自动分级分拣方法及装置。

本发明的目的通过下述技术方案实现：

一种基于双目视觉和多光谱检测技术的菠萝自动分级分拣方法，是先采用双目视觉系统检测菠萝的大小和颜色成熟度，进行菠萝的外部品质分级；然后采用多光谱检测菠萝的内部是否损伤，根据正常菠萝与黑心菠萝的内部含水量与碳水化合物含量的光谱曲线特征，检测判断菠萝的内部质量，进行菠萝的内部品质分级；最后再根据上述的检测结果进行菠萝的自动分级分拣。

菠萝大小的检测，包括下述步骤：

(1)双目标定及校正：对双目相机10进行立体标定，先是分别对两个相机进行单目标定，得到每一个相机的内参矩阵和畸变矩阵；然后对两个相机同时进行双目立体视觉标定，得到用于双目校正的重投影矩阵，以及像素距离与真实物理距离的转换关系；再将双目相机拍摄到的菠萝图像进行双目校正，得到双目校正后的图像；

(2)分割菠萝与背景：首先，采集100张以上的菠萝图像，用于MaskR-CNN算法的神经网络训练；然后，运用Mask R-CNN算法，得到曲线收敛的语义分割模型，分别从双目校正后的图像中把菠萝分割出来，得到分割出来的菠萝左右图像；

(3)采用SGBM立体匹配算法生成视差图，利用分割出来的菠萝左右图像得到菠萝表面的三维点云，其中点云的原点定义在左相机光心位置；

(4)采用方向包围盒算法处理菠萝表面的三维点云，获得菠萝的大小；

(5)设置尺寸阈值a(a的设置范围为60～80mm)，菠萝的直径小于a时，判定为尺寸不合格。

所述采用方向包围盒算法计算菠萝表面的三维点云，包括下述步骤：

(1)首先，求解三维点云的协方差矩阵，该矩阵可反映点云中各点的线性相关程度，三维点云中各点的协方差计算公式如下：

cov(X,Y,Z)＝E(X-EX)(Y-EY)(Z-EZ) (1)

EX、EY、EZ分别是三维点云中各点在x、y、z三个维度上的随机变量X、Y、Z的数学期望，进而得到三维点云的三维协方差矩阵C：