[发明专利]一种基于深度匹配网络的商品种类识别方法

权利要求书

1.一种基于深度匹配网络的商品种类识别方法，其特征在于包含以下步骤：

1)对每一种待识别商品，采集正面照片作为模板图像，并在每个图像中标记出商标区域和有效图案区域，采集货架正面照片作为货架图像；

2)将每一模板图像中的商标区域与货架图像进行特征点匹配，得到货架图像与模板图像商标区域的匹配特征点对列表；

3)对步骤2)获得的各个匹配特征点对列表，对货架图像进行对齐和裁剪处理生成单个商品图像；

4)对步骤3)中生成的各个单个商品图像，使用深度匹配网络方法和各个模板图像中的有效图案区域进行匹配，获得单个商品图像中商品种类的分类结果；

5)根据货架图像的各单个商品图像进行处理，构建货架图像中的商品区域，将属于同一商品区域的单个商品图像合并为一组；

6)综合同一商品区域的各个单个商品图像的分类结果，获得货架图像该商品区域所对应的商品种类的分类结果。

2.根据权利要求1所述的一种基于深度匹配网络的商品种类识别方法，其特征在于：所述步骤2)具体为：

2.1)采集模板图像商标区域内的SIFT特征点与货架图像的SIFT特征点，计算模板图像商标区域内的任一SIFT特征点与货架图像的任一SIFT特征点之间的两两相似度；

采用以下方式计算两个SIFT特征点之间的相似度：每个SIFT特征点的128维标准化描述向量记为v，货架图像上特征点总数记为M，模板图像商标区域内特征点总数记为N，则货架图像上的SIFT特征点i与模板图像商标区域内的SIFT特征点j之间的相似度度量A计算如下：

其中，v_i表示货架图像上的某SIFT特征点i的标准化描述向量，v_j表示模板图像商标区域内的某SIFT特征点j的标准化描述向量，v_i·v_j表示两向量点积，avg表示求平均值，std表示求标准差，M表示货架图像上特征点总数，N表示模板图像商标区域内特征点总数，avg{v_p·v_q|p＝1，2，...M；q＝1，2，...N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的平均值，std{v_p·v_q|p＝1，2，...M；q＝1，2，...N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的标准差；

2.2)根据相似度从大到小依次将SIFT特征点对加入到候选匹配特征点对列表L1中，候选匹配特征点对列表L1中的每一行均为一对相似度大的特征点，列表L1共两列，第一列为货架图像中的特征点，第二列为模板图像中的特征点，并使得每个SIFT特征点不重复出现；

2.3)对候选匹配特征点对进行处理，将位于货架图像同一商品区域中的SIFT特征点归于同一特征点集。