[发明专利]基于异构多模型的废旧电子产品品牌识别方法

说明书

本文提出基于异构多模型的废旧电子产品识别方法，针对受限于相关数据集的稀少，识别方法精度难以达到实际工业需求的问题。利用CTAFT算法提取电子产品背部字符区域，利用ImageNet预训练的VGG19模型作为图像特征嵌入模型，提取待回收电子产品字符部分和整体特征；针对字符部分特征构建OCR字符识别模型，得到OCR子模型识别结果，针对字符和整体特征构建深度森林分类模型，得到深度森林子模型识别结果；将OCR识别结果和深度森林分类向量线性组合，使用softmax非线性函数得到类别权重向量，将权重最高的结果作为电子产品品牌识别结果。基于废旧电子产品回收装备拍摄的真实手机与平板图像验证了有效性。

技术领域

本发明属于废旧电子产品的回收领域。

背景技术

随着科技的发展和5G的迅速普及，智能电子产品的更迭速度不断加快。据Strategy Analytics预测，2021年全球智能电子产品的出货量将同比反弹6.5％，总量达13.8亿部。人们更换电子产品速度的加快是导致其出货量不断提高的主要原因，这也导致个人闲置电子产品的累计量逐年增多。因此，国内外市场对电子产品回收产业的回收效率提出更高要求。废旧电子产品作为一种典型的城市再生资源，利用无人化、智能化的回收装备对其进行回收，能够节省大量人工成本。其中，智能化废旧电子产品识别方法是完成上述任务的关键。

图像识别已在目标检测，人脸识别等领域有了广泛应用，如何使用相关数据集构建分类模型对废旧电子产品进行智能化识别也成为了当下智能化回收装备的研究重点。但基于图像的深度神经网络模型构建依赖海量的有标记样本。本发明所述废旧电子产品识别问题数据集仅来源于回收装备样机实拍图片，数据量较小，难以构建行之有效的神经网络分类模型，且工业过程中拍摄图像清晰度较低，用户的不规范操作也会导致电子产品图像完整度较差、电子产品部分区域镜像等问题。如何在样本量少且样本质量不高的前提下完成对电子产品品牌分类已成为当前待解决的主要问题。

基于上述研究现状，本发明作者提出“基于并行差分进化—梯度特征深度森林的废旧电子产品识别系统”，利用废旧手机背部图像构建手机品牌分类模型，模型分类准确率可达 80.12％；“基于光学字符识别的废旧电子产品识别系统”，利用废旧电子产品背部字符构建字符分类模型，通过映射规则将字符分类结果映射为废旧电子产品品牌，该模型分类准确率可达86.37％。但上述方法仅从纹理特征、字符特征等单一角度构建分类模型，模型精度仍难达到实际工业需求。因此本发明提出一种基于异构多模型的废旧电子产品识别方法。

首先，利用CTAFT算法提取电子产品背部字符区域；接着，使用ImageNet预训练的VGG19模型对电子产品背部图像和其字符特征区域进行特征提取，使用高维卷积特征代替单一维度特征；接着基于字符特征构建光学字符识别(OCR)模型，基于电子产品图像特征和字符特征构建深度森林电子产品分类模型；最后，将不同模型分类结果线性拼接，通过Softmax激活函数得出最终分类结果。基于工业和信息化部电信设备认证中心的典型电子产品图像数据集，验证了该算法在废旧电子产品识别中的有效性。

发明内容

本发明所述基于异构多模型的废旧电子产品识别方法包括：图像预处理模块、多元特征提取模块、异构多模型识别模块共3个部分。系统整体结构如图1所示。

本发明出现变量含义如表1所示。

表1变量含义表

图像预处理模块的输入为数据增强预处理输出为X_img，使用CRAFT字符级目标检测算法的字符预处理输出为X_digit；

多元特征提取模块使用基于ImageNet预训练的VGG19网络获取字符特征与整体背部图像像素特征在高维空间的表示，该模块的输入为X_img和X_digit，输出分别为和