[发明专利]基于深度相机与机器学习的糖果缺陷检测装置及分类方法

权利要求书

1.一种基于深度相机与机器学习的糖果缺陷检测装置，其特征在于，包括：糖果进料斗、传送带、深度相机、光源、工控机和分选机构，所述糖果进料斗和分选机构分别设置在传送带的两端，所述糖果进料斗内设置有隔断冷却履带，在所述隔断冷却履带上设置有隔断冷却板，实现刚凝固定型的糖果的等量分割；所述深度相机和光源设置在传送带的上方；所述深度相机与工控机连接，深度相机采集的糖果图像传输至工控机，工控机实现糖果图像的计算与分类，并根据分类结果控制分选机构，收集缺陷糖果；

缺陷糖果的分类方法采用机器视觉算法与深度学习中的卷积神经网络相结合来实现，利用机器视觉算法在RGB颜色空间对图像进行特征提取，并对图像中粘连的糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积；

在判断出粘连糖果之后，通过椭圆拟合找到粘连糖果凸包上的两个凹点，将凹点连接形成分割线，完成对粘连糖果的分割，凹点检测的具体步骤如下：

1)采用八邻域的链码跟踪法提取图像中的粘连区域；

2)根据凸封闭包的判定方法，计算粘连区域的凸封闭包；

3)凸封闭包减去原粘连区域，得到凹区域的轮廓，利用欧几里德距离公式：

式中，D表示两个凹点之间的距离，x₁表示在2维欧式空间中第1个凹点的横坐标，x₂表示在2维欧式空间中第2个凹点的横坐标，y₁表示在2维欧式空间中第1个凹点的纵坐标，y₂表示在2维欧式空间中第2个凹点的纵坐标；

找到凹区域中距离最小的两点即为凹点。

2.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述分选机构包括设置在传送带末端的高速喷阀和设置在高速喷阀下方的收集箱；工控机处理识别出缺陷糖果后，经过一定时间的延时，高速喷阀吹出含有缺陷的糖果至收集箱中。

3.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述深度相机通过相机固定架设置在传送带上方，采集均匀落在传送带上的糖果图像。

4.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述光源采用两根条形光源，条形光源通过可转动的光源固定架设置在相机固定架上，两根条形光源实现交叉照射。

5.根据权利要求1所述的基于深度相机与机器学习的糖果缺陷检测装置，其特征在于：所述工控机设置有采集卡和GPU，采集卡将深度相机采集的图像传输到工控机，GPU保证传统机器视觉算法与卷积神经网络的快速实现。

6.一种基于深度相机与机器学习的缺陷糖果分类方法，其特征在于：采用机器视觉算法与深度学习算法相结合来实现缺陷糖果的分类；采用机器视觉算法，对深度相机采集的糖果图像进行特征提取，并对图像中的粘连糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积；在判断出粘连糖果之后，通过椭圆拟合找到粘连糖果凸包上的两个凹点，将凹点连接形成分割线，完成对粘连糖果的分割，凹点检测的具体步骤如下：

1)采用八邻域的链码跟踪法提取图像中的粘连区域；

2)根据凸封闭包的判定方法，计算粘连区域的凸封闭包；

3)凸封闭包减去原粘连区域，得到凹区域的轮廓，利用欧几里德距离公式：

式中，D表示两个凹点之间的距离，x₁表示在2维欧式空间中第1个凹点的横坐标，x₂表示在2维欧式空间中第2个凹点的横坐标，y₁表示在2维欧式空间中第1个凹点的纵坐标，y₂表示在2维欧式空间中第2个凹点的纵坐标；

找到凹区域中距离最小的两点即为凹点。