[发明专利]一种结合模板匹配与深度学习的商品种类检测方法

权利要求书

1.一种结合模板匹配与深度学习的商品种类检测方法，其特征在于包含以下步骤：

1)对每一种待检测商品，采集具有同一商标图案的不同商品正面照片作为模板图像，并在每个图像中标记出商标区域和有效图案区域，采集货架正面照片作为货架图像；

2)将每一模板图像与货架图像进行特征点匹配，得到货架图像中所有能与模板图像匹配上的特征点集；

3)对于步骤2)获得的各个特征点集，根据特征点集对货架图像进行对齐变换和裁剪处理生成单个商品图像；

4)对步骤3)中生成的各个商品图像，使用深度学习的分类网络进行检测分类，获得单个商品图像中商品种类的检测结果；

5)根据货架图像的各商品图像进行处理，构建货架图像中的商品区域，将位于同一商品区域的商品图像合并为一组；

6)综合同一商品区域的各个商品图像的分类结果，获得货架图像该商品区域所对应商品种类的检测结果。

2.根据权利要求1所述的一种结合模板匹配与深度学习的商品种类检测方法，其特征在于：所述步骤2)具体为：

2.1)采集模板图像商标区域内的SIFT特征点与货架图像的SIFT特征点，计算模板图像商标区域内的任一SIFT特征点与货架图像的任一SIFT特征点之间的两两相似度；

采用以下方式计算两个SIFT特征点之间的相似度：每个SIFT特征点的128维标准化描述向量记为v，货架图像上特征点总数记为M，模板图像商标区域内特征点总数记为N，则货架图像上的SIFT特征点i与模板图像商标区域内的SIFT特征点j之间的相似度度量A计算如下：

其中，v_i表示货架图像上的某SIFT特征点i的标准化描述向量，v_j表示模板图像商标区域内的某SIFT特征点j的标准化描述向量，v_i·v_j表示两向量点积，avg表示求平均值，std表示求标准差，M表示货架图像上特征点总数，N表示模板图像商标区域内特征点总数，avg{v_p·v_q|p＝1，2，...M；q＝1，2，...N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的平均值，std{v_p·v_q|p＝1，2，...M；q＝1，2，...N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的标准差；

2.2)根据相似度从大到小依次将SIFT特征点对加入到候选匹配特征点对列表L1中，候选匹配特征点对列表L1中的每一行均为一对相似度大的特征点，列表L1共两列，第一列为货架图像中的特征点，第二列为模板图像中的特征点，并使得每个SIFT特征点不重复出现；

2.3)对候选匹配特征点对进行处理，将位于货架图像同一商品区域中的SIFT特征点归于同一特征点集。