[发明专利]具有包装的果蔬的识别方法、识别装置、电子设备以及计算机可读介质

说明书

本发明提供了一种具有包装的果蔬的识别方法识别装置、电子设备以及计算机可读介质。所述方法包括：数据集生成步骤，采集具有包装的果蔬的视频信息，并且对所采集的视频信息进行预处理，以生成用于训练的数据集；模型训练步骤，构建深度学习卷积网络模型，并基于数据集对所述深度学习卷积网络模型进行训练；以及识别步骤，基于已训练的深度学习卷积网络模型，对待识别的具有包装的果蔬的视频进行检测，以识别视频中的具有包装的果蔬的属性信息。本发明的上述方法能够对带包装果蔬的品类、相应包装种类以及目标在图像中的位置等属性进行识别。

技术领域

本发明涉及一种具有包装的果蔬的识别方法和具有包装的果蔬的识别装置、电子设备以及计算机可读介质。

背景技术

基于计算机视觉与数字图像处理的目标检测与识别是当前的一个重要研究方向，并被广泛应用于视频监控，自动驾驶，工业检测，航空航天等诸多领域。从理论研究来说，在该技术领域已经形成一些较为成熟的深度学习算法，而相应的技术模型也在向更高的识别精度与更快的执行速度发展。然而，在算法的实际应用过程中，依然会面临很多的挑战。首先，相比于理论研究中常用的标准数据集或者已实现应用中人为设定的简单场景(流水线等)，现实中实际的场景往往更加复杂，会存在画面的景深、遮挡、光照、分辨率等影响因素，则模型在此时直接应用会有较低的准确率。其次，这些原始的深度模型以识别实体的具体分类为目标，不具备同时检测具体类别与相关属性的能力，如同时分别识别出水果的品类以及包装，如需对不同类别的结果识别则需要通过不同的分类模型分别识别，则往往增加了实际处理时间也浪费处理资源。

例如，已知一种现有的水果识别方法中，首先构造了一批包含单个待识别目标图像与不包含待识别目标图像的指定品类水果数据集，并根据所选水果的品类做训练数据预处理。对于预处理过的数据集提取特征向量，并将得到的特征向量输入到深度学习模型中进行训练得到识别模型。从而利用该识别模型进行水果识别应用。

然而，在该水果识别方法中，无法对在箱、筐等包装内堆放品类识别，在密集堆放(部分遮挡)情况下也不适用。此外，由于仅做品类识别，不涉及包装，因此功能上只能识别具体品类，不能做到品类与包装实时识别。对于滑动窗口，处理速度慢，虽然可以定位目标位置，但采用滑动窗口的技术，大大增加了识别时间，相比于基于聚类的锚框实现，效率较低。

另外，已知另一种果蔬识别方法，该方法构造了一批水果蔬菜图像的多种品类的果蔬数据集，样本相对比较标准，每张图像包含一个品类的一个个体，不涉及现实中的遮挡，包装堆放，光照等复杂环境因素。将训练数据集输入到深度神经网络中训练，得到一个果蔬识别模型，输出待识别目标的品类，不涉及位置，包装等其他属性信息。

然而，在该水果识别方法中，数据集不具备复杂环境，参考了标准的果蔬数据集，同时，该方法只能对果蔬的类别做出识别，不能同时识别出品类与包装。另外，该方法不具备快速位置定位，整张图像作为模型输入，未标注待检测实体位置信息，识别时不能快速定位并输出位置信息。

发明内容

在例如市场环境中上，果蔬不同的包装往往对应不同的品质，反映在价格上也会有较大差别。在包装内的品类具有密集堆放、遮挡等复杂特征，同时也会受到市场天气、光照等复杂现实环境影响，从而使得果蔬识别具备很大难度。

针对以上问题，本发明提供一种具有包装的果蔬的识别方法、识别装置、电子设备以及计算机可读介质，其能够对带包装果蔬的品类、相应包装种类以及目标在图像中的位置等属性进行识别。

根据本发明的一方面，提供一种具有包装的果蔬的识别方法，包括：

数据集生成步骤，采集具有包装的果蔬的视频信息，并且对所采集的所述视频信息进行预处理，以生成用于训练的数据集；

模型训练步骤，构建深度学习卷积网络模型，并基于所述数据集对所述深度学习卷积网络模型进行训练；以及