[发明专利]商品组合型sku识别方法及其装置

权利要求书

1.一种商品组合型sku识别方法，其特征在于：所述商品组合型sku识别方法包括以下步骤：

1）从输入图像中获取所有的商品组合型sku的图像信息及其内部陈列单品的图像信息；

2）提取商品组合型sku的特征信息及其内部每个陈列单品的特征信息；

3）将所述商品组合型sku的特征信息融合到其内部对应的每个陈列单品的特征信息上；

4）根据融合后的内部陈列单品的特征信息，对内部陈列单品进行类别识别，从而确定所述商品组合型sku的最终类别；

所述2）中包括提取各商品组合型sku的mask信息及内部各陈列单品的mask信息，即将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来，每个商品组合型sku都有一个组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；根据输入的所述切图集合中每一张切图在输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；采用卷积神经网络对输入的所述切图集合提取高层语义特征，形成特征向量集合，所述高层语义信息是指在采用卷积神经网络中，靠近输出端的网络层提取的信息；

所述3）中，根据提取到的所述特征向量集合和所述商品组合型sku与所述陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；

所述4）中利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，确定各个组合型sku的最终类别。

2.根据权利要求1所述的商品组合型sku识别方法，其特征在于：设置如下单元：

实例分割检测模型，该模型用于检测所述输入图像中所有的商品组合型sku的图像信息及其内部陈列单品的图像信息，该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，所述mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来；每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；

图像切取模块，根据检测到的商品组合型sku的mask信息及其内部各陈列单品的mask信息，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品；对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

图像整合模块，根据输入的所述切图集合中每一张切图在所述输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述从属关系是确定哪些单品属于哪一个组合型sku，所述对切图集合进行排序是将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

分类特征提取模块，通过一个双线性网络，对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量，进而形成特征向量集合；分类特征提取模块是采用卷积神经网络，由多个网络层堆叠组成，越靠近输入端的网络层提取的信息为底层语义信息，越靠近输出端的网络层提取的信息为高层语义信息，所述特定尺寸是指特征向量的维度，根据不同的应用场合对该尺寸大小进行调整；

特征融合模块，根据提取到的特征向量集合和商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；

单品分类器，利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别；

组合型sku类别推理模块，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，根据预先定义好的规则确定各个组合型sku的类别，所述预先定义规则是指根据业务需求，将哪些单品陈列在一起的sku具体属于哪一类。

3.基于权利要求1所述商品组合型sku识别方法的装置，其特征在于：所述商品组合型sku识别方法的装置包括以下单元：

实例分割检测模型，该模型用于检测所述输入图像中所有的商品组合型sku的图像信息及其内部陈列单品的图像信息，该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，所述mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来；每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；

图像切取模块，根据检测到的商品组合型sku的mask信息及其内部各陈列单品的mask信息，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品；对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

图像整合模块，根据输入的所述切图集合中每一张切图在所述输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述从属关系是确定哪些单品属于哪一个组合型sku，所述对切图集合进行排序是将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

分类特征提取模块，通过一个双线性网络，对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量，进而形成特征向量集合；分类特征提取模块是采用卷积神经网络，由多个网络层堆叠组成，越靠近输入端的网络层提取的信息为底层语义信息，越靠近输出端的网络层提取的信息为高层语义信息，所述特定尺寸是指特征向量的维度，根据不同的应用场合对该尺寸大小进行调整；

特征融合模块，根据提取到的特征向量集合和商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；

单品分类器，利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别；

组合型sku类别推理模块，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，根据预先定义好的规则确定各个组合型sku的类别，所述预先定义规则是指根据业务需求，将哪些单品陈列在一起的sku具体属于哪一类。