[发明专利]一种融合人类知识的交互式食品图像缺陷检测方法及系统

说明书

本发明涉及食品质量控制技术领域，提供了一种融合人类知识的交互式食品图像缺陷检测方法及系统，包括：响应于训练指令，对食品图像依次进行背景分割和过度分割，得到超像素；获取标记的超像素分类，并对超像素进行特征提取；基于提取的特征和标记的超像素分类，对分类器进行训练；响应于部署指令，对食品图像依次进行背景分割、过度分割和特征提取后，通过训练好的分类器，进行分类，得到食品图像中的缺陷区域。实现了自动检测与人类知识的交互式融合。

技术领域

本发明属于食品质量控制技术领域，尤其涉及一种融合人类知识的交互式食品图像缺陷检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

食品缺陷自动检测系统能够替代或辅助人工检验员评估原料和加工食品的各种质量属性，从而以相对较低的成本保证食品质量。在食品行业中，劳动力成本普遍较高，而制造商的利润率通常较低。以土豆为例，由于在购买时大多数情况下无法直接品尝，消费者倾向于购买外观良好的土豆产品。因此，许多食品行业公司愿意投资适当的计算机视觉技术，以降低成本并促进销售。

食品图像缺陷检测任务可以理解为根据食品图像中存在的缺陷情况对其进行分级分类。简单的分类是根据缺陷区域的大小占比将食品图像分为有缺陷和无缺陷两类。复杂的分类则将食品的缺陷划分为多个类别(例如三个)。典型的基于图像食品缺陷分析的机器视觉系统通常包含以下三个主要步骤：(1)预处理(从图像背景中分割出感兴趣的区域)，(2)提取图像特征，将图像分割为正常区域和缺陷区域，(3)使用模式识别方法对输入数据的不同区域特征进行分类，得到对应的分类结果。基于深度学习的模式识别方法由于其具有自动学习物体不同特征和高识别准确率的优势，广泛应用于食品图像的缺陷检测。训练深度学习方法需要大量的训练数据，并且需要通过人工标注提供像素级别的图像类别标签。以土豆为例，存在缺陷的土豆训练数据非常稀缺，标注训练数据非常困难，原因如下：(1)土豆的边界形状非常复杂，土豆的颜色、形状等方面可能在短时间内快速变化，因此手动进行标注非常困难；(2)并非每个人都具备土豆病理学方面的专业知识，因此不是每个人都能参与训练数据的收集。此外，深度学习模型的训练通常非常耗时，因此不适用于交互式图像分类的人机环路系统。重要的是，大多数现有基于深度学习的自动食品质量分析系统都不包含手动的修正机制。目前的基于深度学习的方法得到的特征都是自主学习得到的，缺少人类知识的引导，这就容易造成缺陷检测的准确率较低的现象。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种融合人类知识的交互式食品图像缺陷检测方法及系统，引入超像素进行过分割并不会明显恶化分类结果，而且可以显著加快处理速度，另外，当无法自动识别某种缺陷时，允许人工检查员标记超像素分类以纠正错误，这样实现自动检测与人类知识的交互式融合。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种融合人类知识的交互式食品图像缺陷检测方法，其包括：

响应于训练指令，对食品图像依次进行背景分割和过度分割，得到超像素；获取标记的超像素分类，并对超像素进行特征提取；基于提取的特征和标记的超像素分类，对分类器进行训练；

响应于部署指令，对食品图像依次进行背景分割、过度分割和特征提取后，通过训练好的分类器，进行分类，得到食品图像中的缺陷区域。

进一步地，采用阈值方法进行背景分割；

或者，采用超像素分割算法进行过度分割。

进一步地，所述特征提取包括：对每个超像素，计算平均值、方差和偏度。

进一步地，所述特征提取包括：在强度通道上使用边缘检测器，确定像素强度的变化速率。

进一步地，所述特征提取包括：在强度通道上使用范围滤波器，计算邻域内的最小值、最大值和最大值与最小值之间的差异。