[发明专利]一种基于特征图的商品定位检测重识别方法

摘要

本发明公开了一种基于特征图的商品定位检测重识别方法。该方法采用动态遮罩子图和并行特征图匹配方法，优化物品重叠检测，提高商品识别效率。该方法可用于超市和小卖部的商品结算中的商品识别与结算工作，降低出错率，减少人力成本，提高结算效率等。通过改变输入数据，可以拓展用于其他物品检测领域。

主权项

1.一种基于特征图的商品定位检测重识别方法，其特征在于包括以下步骤：1)首先通过实时视频帧采样得到时序样本图像，然后利用物体检测网络YOLO检测出样本图像中所有商品的位置和所属类别，完成样本图像中所有商品的定位操作；2)根据步骤1)得到样本图像第k帧图像中第j个商品的位置，生成动态遮罩矩阵M^k,j_mask，矩阵中标识商品j位置的矩形框数值为1，其余为0；将M^k,j_mask与其样本图像矩阵按元素逐个相乘，得到商品j的特征子图；3)重复步骤2)，计算步骤1)中所有检测到的商品的特征子图，构成所有商品的待识别集合；4)将待识别集合中的每个商品以并行的方式输入到识别网络中，其中第j个子识别网络的第i层对应识别集合中商品j的特征子图的第i次卷积，进行卷积处理后将得到的特征图通过全连接层构成商品j的第i级特征向量之后对特征图进行下采样将处理结果转交给第i+1层，重复本操作直至子识别网络的最后一层卷积层；5)将步骤4)得到的每层卷积层输出的单级特征向量进行嵌入操作形成商品j的特征矩阵M_j；6)从商品库中选取m个与商品j同属一类的商品特征矩阵组成识别序列，商品库中每个商品的特征矩阵由所述步骤1)‑步骤5)获得；7)计算商品j的特征矩阵和所述识别序列中每个商品的特征矩阵的相似度，其相似度similarity(M_jt,M_j)计算如下：其中M_j为商品j的特征矩阵，M_jt为商品j的识别序列中第t个商品的特征矩阵，similarity(M_jt,M_j)为特征矩阵M_jt与M_j的相似度，sum(M_j)为特征矩阵M_j中每个元素的绝对值之和，m_p,q表示矩阵M_j中位置为(p,q)上的值，矩阵M_j的大小为N×N；8)设定相似度阈值，当相似度大于等于相似度阈值时，认为商品j和识别序列中的该商品是一样的，输出该商品的标签，返回识别成功；若当前序列中的所有商品的特征矩阵均不能和商品j的特征矩阵匹配，从商品库中的同类别商品中选取未在序列中出现过的商品构成新的一组识别序列，重复步骤7)、8)再次进行匹配直到返回识别成功为止；9)对每个商品执行步骤5)、6)、7)、8)的识别过程，返回当前序列样本图像中所有商品的标签，完成一次商品识别。