[发明专利]基于语义分割网络的自定义标签识别系统及识别方法

权利要求书

1.一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，其特征在于，包括：

商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；

图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；

模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；

场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；

图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；

所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；

分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；

订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。

2.如权利要求1所述的自定义标签识别系统，其特征在于，还包括：

图像增强模块，分别连接所述商品标签标注模块和所述图像特征提取模块，用于对经标签标注后的所述场景图像进行图像增强，得到经图像增强后的所述场景图像并输出。

3.如权利要求2所述的自定义标签识别系统，其特征在于，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。

4.一种基于语义分割网络的自定义标签识别方法，通过应用如权1-3任意一项的所述自定义标签识别系统实现，其特征在于，包括如下步骤：

步骤S1，所述自定义标签识别系统采集所述智能货柜的所述柜门开启前后的所述场景图像；

步骤S2，所述自定义标签识别系统基于预先训练的所述语义分割模型，对开启所述智能货柜的所述柜门前采集的所述第一场景图像进行图像分割识别，得到所述第一图像分割识别结果；

步骤S3，所述自定义标签识别系统基于预先训练的所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的所述第二场景图像进行图像分割识别，得到所述第二图像分割识别结果；

步骤S4，所述自定义标签识别系统通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到代表各所述目标商品的所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；

步骤S5，所述自定义标签识别系统根据所述自定义标签的所述变化情况，对所述买家的所述购物订单进行自动结算。

5.如权利要求4所述的自定义标签识别方法，其特征在于，所述步骤S2中，训练所述语义分割模型的方法包括如下步骤：

步骤S21，对所述场景图像中的各所述目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；

步骤S22，将经标签标注后的所述场景图像作为训练样本输入到一语义分割网络中，训练形成所述语义分割模型。

6.如权利要求5所述的自定义标签识别方法，其特征在于，将经标签标注后的所述场景图像进行图像增强，并将经图像增强后的所述场景图像作为训练样本以训练所述语义分割模型。

7.如权利要求6所述的自定义标签识别方法，其特征在于，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。