[发明专利]基于特征融合的商品分类系统及分类方法

权利要求书

1.一种基于特征融合的商品分类系统，其特征在于，包括：

图像输入模块，用于提供给用户输入待检测的商品图像；

图像拍摄角度预估模块，连接所述图像输入模块，用于根据所述商品图像中的参照物，对所述商品图像的拍摄角度进行预估；

图像仿射变换模块，分别连接所述图像输入模块和所述图像拍摄角度预估模块，用于根据预估的所述拍摄角度，对所述商品图像进行仿射变换，以纠正所述商品图像中的商品图片的角度；

图像全局特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的全局特征图；

第一图像匹配模块，连接所述图像全局特征提取模块和一样图库，用于将所述全局特征图与预存于所述样图库中的各样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配到与所述商品图像具有关联性的所述样图并存储；

图像局部特征提取模块，连接所述图像仿射变换模块，用于对经仿射变换后的所述商品图像进行图像局部特征提取，得到所述商品图像对应的局部特征图；

第二图像匹配模块，分别连接所述图像局部特征提取模块和所述第一图像匹配模块，用于将所述局部特征图与初步匹配得到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与所匹配的各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图并存储；

商品类别判断模块，连接所述第二图像匹配模块，用于将最终匹配得到的所述样图对应的商品类别作为所述商品对应的商品类别输出。

2.如权利要求1所述的商品分类系统，其特征在于，还包括：

第一特征差异区域提取模块，分别连接所述图像局部特征提取模块和所述第二图像匹配模块，用于识别并提取所述局部特征图上与进一步匹配得到的各所述样图的第一特征差异区域并存储；

第二特征差异区域提取模块，分别连接所述图像局部特征提取模块和所述第二图像匹配模块，用于识别并提取进一步匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储；

第三图像匹配模块，分别连接所述第一特征差异区域提取模块和所述第二特征差异区域提取模块，用于将所述第一特征差异区域与各所述第二特征差异区域进行逐一的区域图像匹配，并根据所述第一特征差异区域和各所述第二特征差异区域的区域相似度，匹配得到与所述商品图像具有关联性的所述样图并存储；

所述商品类别判断模块，连接所述第三图像匹配模块，用于将所述第三图像匹配模块匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。

3.如权利要求1所述的商品分类系统，其特征在于，采用卷积神经网络对所述商品图像进行图像全局特征提取以及图像局部特征提取。

4.一种基于特征融合的商品分类方法，通过应用如权1-3任意一项的所述商品分类系统实现，其特征在于，包括如下步骤：

步骤S1，所述商品分类系统获取待检测的所述商品图像；

步骤S2，所述商品分类系统根据所述商品图像中的所述参照物，对所述商品图像的拍摄角度进行预估；

步骤S3，所述商品分类系统对所述商品图像根据所述步骤S2预估得到的所述拍摄角度进行仿射变换；

步骤S4，所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的所述全局特征图；

步骤S5，所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配得到与所述商品图像具有关联性的所述样图；

步骤S6，所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取，提取到所述商品图像对应的局部特征图；

步骤S7，所述商品分类系统将所述步骤S6得到的所述局部特征图与所述步骤S5中匹配到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图；

步骤S8，所述商品分类系统将所述步骤S7匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。

5.一种基于特征融合的商品分类方法，通过应用如权利要求1或2所述的商品分类系统实现，其特征在于，包括如下步骤：

步骤L1，所述商品分类系统获取待检测的所述商品图像；

步骤L2，所述商品分类系统根据所述商品图像中的所述参照物，对所述商品图像的拍摄角度进行预估；

步骤L3，所述商品分类系统对所述商品图像根据所述步骤L2预估得到的所述拍摄角度进行仿射变换；

步骤L4，所述商品分类系统对经仿射变换后的所述商品图像进行图像全局特征提取，得到一关联于所述商品图像的所述全局特征图；

步骤L5，所述商品分类系统将所述全局特征图与预存于所述样图库中的各所述样图进行逐一的图像匹配，并根据所述全局特征图与各所述样图的相似度，初步匹配得到与所述商品图像具有关联性的所述样图；

步骤L6，所述商品分类系统对经仿射变换后的所述商品图像进行图像局部特征提取，提取到所述商品图像对应的局部特征图；

步骤L7，所述商品分类系统将所述局部特征图与所述步骤L5中匹配到的各所述样图进行进一步的图像局部特征匹配，并根据所述局部特征图与各所述样图的局部特征的相似度，在初步匹配到的各所述样图中进一步匹配出与所述商品图像具有关联性的所述样图；

步骤L8，所述商品分类系统识别并提取所述局部特征图上与所述步骤L7匹配得到的各所述样图的第一特征差异区域并存储以及识别并提取所述步骤L7匹配得到的各所述样图上与所述局部特征图的第二特征差异区域并存储；

步骤L9，所述商品分类系统将所述第一特征差异区域与各所述第二特征差异区域进行区域图像匹配，并根据所述第一特征差异区域和各所述第二特征差异区域的相似度，匹配得到与所述商品图像具有关联性的所述样图；

步骤L10，所述商品分类系统将所述步骤L9匹配得到的所述样图所对应的商品类别作为所述商品图像中的所述商品对应的商品类别输出。