[发明专利]基于语义分割网络的自定义标签识别系统及识别方法

说明书

本发明公开了一种自定义标签识别系统、方法，其中系统包括：场景图像采集模块，用于采集智能货柜的场景图像，场景图像中的各目标商品对应有自定义标签；图像识别模块，用于基于预设的语义分割模型，对智能货柜柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果，然后对关闭智能货柜的柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；分割结果比对模块，用于通过比对第一图像分割识别结果和第二图像分割识别结果，得到自定义标签在柜门开合前后的变化情况；订单结算模块，用于根据自定义标签变化情况，对购物订单进行结算，本发明解决了现有的商品识别算法无法对非标类商品进行准确分类的问题。

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于语义分割网络的自定义标签识别系统及识别方法。

背景技术

目前，智能货柜对货柜内商品进行自动订单结算的方法为，首先通过安装在智能货柜中的摄像头采集场景图像，然后依靠预先训练的商品识别模型对场景图像中的目标商品进行识别检测，最后根据增减的目标商品对应的商品信息对购买订单进行自动结算。然而，现有的基于神经网络的商品识别算法对标准商品的识别准确度较高，但对于一些非标类商品，比如形状异常或者商品尺寸异常的商品的识别准确率较低。如果需要提高现有的商品识别算法对非标类商品的识别能力，需要对商品识别模型进行重新训练，但现实情况是，对非标类商品的样本采集难以在短时间内完成，所以也就无法及时对商品识别模型进行更新。

发明内容

本发明的目的在于提供一种基于语义分割网络的自定义标签识别系统、方法，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，该系统包括：

商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；

图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；

模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；

场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；

图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；

所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；

分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；

订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。

作为本发明的一种优选方案，所述自定义标签识别系统还包括：

图像增强模块，分别连接所述商品标签标注模块和所述图像特征提取模块，用于对经标签标注后的所述场景图像进行图像增强，得到经图像增强后的所述场景图像并输出。

作为本发明的一种优选方案，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。