[发明专利]基于深度相机与机器学习的糖果缺陷检测装置及分类方法

说明书

本发明公开了一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法，深度相机采集光源反射的糖果图像，并传输至工控机，工控机对糖果图像进行处理后，控制分选机构完成缺陷糖果的剔除工作；本发明的分类方法将机器视觉算法与深度学习算法相结合，利用机器视觉算法在RGB颜色空间对图像进行特征提取，并对图像中粘连的糖果进行分割，保证了算法在工业环境下运行的稳定性；利用深度学习算法中的卷积神经网络Resnet18检测缺陷糖果，通过改进网络结构进行糖果分类，并输出糖果缺陷面积。本发明降低了人工分拣的误检率和漏检率与企业的生产成本，满足了企业的生产需求，提高了生产效率。

技术领域

本发明涉及机器视觉领域，具体涉及机器视觉和深度学习技术在缺陷检测尤其是缺陷糖果检测分类中的应用，更具体而言，涉及一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法。

背景技术

糖果是以糖类为主要成份的一种小吃，糖果行业作为我国传统的两大支柱零食产业之一，保持着快速的增长。然而，糖果在生产过程中，由于上料不足或运输磕碰不可避免地造成糖果缺陷，缺陷糖果不仅种类多，且形状各异，体积偏小。目前，缺陷糖果的分类由人工完成，使用人工目测的方法来对缺陷糖果进行识别和分类，其缺点是人为因素影响大、识别速度慢、分类精度低，且已无法满足日益增长的消费需求。因此需要设计一种装置，并探寻一种算法来识别并分类含有缺陷的糖果。

发明内容

针对现有技术的不足，本发明提出了一种基于深度相机与机器学习的糖果缺陷检测装置及分类方法。

一种基于深度相机与机器学习的糖果缺陷检测装置，包括：糖果进料斗、传送带、深度相机、光源、工控机和分选机构，所述糖果进料斗和分选机构分别设置在传送带的两端，所述深度相机和光源设置在传动带上；所述深度相机与工控机连接，深度相机采集的糖果图像传输至工控机，工控机实现糖果图像的计算与分类，并根据分类结果控制分选机构动作，收集缺陷糖果；糖果分类采用机器视觉算法与深度学习算法相结合来实现，首先采用机器视觉算法对深度相机采集的原始图像进行特征提取，对图像中粘连的糖果进行分割，保证了算法在工业环境下运行的稳定性，分割后的子图像划分为训练集和验证集，并输入至卷积神经网络，卷积神经网络计算并输出缺陷糖果类型和缺陷糖果缺损面积。

作为优选，所述糖果进料斗上内设置有隔断冷却履带，在所述隔断冷却履带上设置有隔断冷却板，实现刚凝固定型的糖果的等量分割；所述分选机构包括设置在传送带末端的高速喷阀和设置在高速喷阀下方的收集箱；工控机处理识别出缺陷糖果后，经过一定时间的延时，高速喷阀吹出含有缺陷的糖果至收集箱中。

作为优选，所述深度相机通过相机固定架设置在传动送带上方，采集均匀落在传送带上的糖果的图像。

作为优选，所述光源采用两根条形光源，条形光源通过可转动的光源固定架设置在相机固定架上，两根条形光源实现交叉照射。

作为优选，所述工控机设置有采集卡和GPU，采集卡将深度相机采集的图像传输到工控机，GPU保证传统机器视觉算法与卷积神经网络的快速实现。

一种基于深度相机与机器学习的缺陷糖果分类方法，采用机器视觉算法，对深度相机采集的糖果图像进行特征提取，并对图像中的粘连糖果进行凸包分割；分割后的图像输入至卷积神经网络，卷积神经网络进行缺陷糖果分类，输出糖果类型和缺陷糖果的缺损面积。

作为优选，所述缺陷糖果分类方法包含下述步骤：

步骤S1：获取糖果图像；

步骤S2：用机器视觉算法提取糖果特征；

步骤S3：对图像进行分割；

步骤S4：将分割后的子图像划分为训练集和验证集；

步骤S5：构建卷积神经网络结构，利用训练集中的子图像对网络进行训练；

步骤S6：基于预训练的网络，对验证集中的子图像进行分类；