[发明专利]识别密集陈列商品的方法及其装置

权利要求书

1.一种识别密集陈列商品的方法，其特征在于所述识别密集陈列商品的方法包括下列步骤：

(1)输入密集陈列商品的图像；

(2)对所述输入密集陈列商品的图像中的每个商品进行检测，输出每个商品的空间位置关系；

根据检测到的每个商品的空间位置关系截取关心区域的图像，输出单个商品的切图，以此对检测到的单个商品进行分类，输出每个商品的类别概率分布估计信息；

(3)将所有检测到的商品根据空间位置关系划分到不同的商品簇，针对每个商品簇，基于空间位置关系，利用商品的类别概率分布估计信息组合成该商品簇的概率分布特征序列；

(4)根据步骤(3)该商品簇的概率分布特征序列，进行上下文信息提取和融合，形成一个线性可分特征向量；

(5)依据所述线性可分特征向量，通过分类器进行二次分类，得到该商品簇的各个商品新的类别概率分布估计，并根据该新的类别概率分布估计得到该商品簇的最终类别，即选择属于某个类别的概率值最大的类别作为该密集陈列商品的最终类别；

步骤(3)中，对于货架上的商品，首先根据商品垂直方向之间的距离划分为不同的货架层，然后在每一层中根据两个相邻商品之间的距离划分为不同的商品簇；对于地堆商品，首先根据水平方向和垂直方向上各商品之间的距离划分为不同的行和列，然后分别在水平和垂直方向上根据两个相邻商品之间的距离划分为不同的商品簇；然后，根据步骤(2)中得到的每个商品的类别概率分布估计信息，获得每一个商品属于某个类别的最大概率值，然后将该最大概率值与阈值进行比较，找出最大概率值低于阈值的商品，称为不确定商品，所述阈值是介于0到1之间的值，根据具体应用进行调整；然后对找出的每个不确定商品，利用其所属商品簇中所有商品的概率信息组成固定长度的特征序列，当商品个数少于特征序列的长度时，通过补充值全为0的特征向量进行补齐；步骤(4)中将商品簇的概率分布特征序列输入到一个带有注意力模块的循环神经网络中，通过循环神经网络利用序列的上下文信息转换成所述的线性可分特征向量。

2.根据权利要求1所述的识别密集陈列商品的方法，其特征在于：步骤(3)中，每个商品簇内部具有较强的空间上下文信息，商品簇之间的具有较弱的空间上下文信息。

3.根据权利要求1所述的识别密集陈列商品的方法，其特征在于：步骤(5)中根据得到该商品簇中每个商品新的类别概率分布估计，通过序列搜索算法得到一个最可能的类别序列，从而得到该商品簇的最终类别。

4.根据权利要求1所述的识别密集陈列商品的方法，其特征在于设置如下单元：

商品检测模型，用于检测输入图像中的单个商品，输出每个商品的空间位置关系的信息；

商品聚类模块，用于将所有检测到的商品根据空间位置关系划分到不同的商品簇中，每个商品簇内部具有较强的空间上下文信息，商品簇之间的具有较弱的空间上下文信息；

图像截取模块，根据检测到的商品位置截取关心区域的图像，输出单个商品的切图；

商品分类模型，用于对检测到的单个商品进行分类，输出每个商品的类别概率分布估计信息；

特征序列生成模块，基于每个商品簇内部所有商品的空间位置关系和类别概率分布估计信息组合成商品簇的对应的特征序列，即该商品簇的概率分布特征序列；

序列上下文特征提取模块，根据输入的该商品簇的概率分布特征序列，进行上下文信息提取和融合，输出上下文特征向量，即线性可分特征向量；

注意力模块，为所述序列上下文特征提取模块提供注意力向量，用于控制上下文信息利用范围；

商品二次分类器，基于输入的上下文特征向量进行二次分类，得到该商品簇的各个商品新的类别概率分布估计，并根据该概率分布估计得到该商品簇的最终类别。

5.一种基于权利要求1所述的识别密集陈列商品方法的装置，其特征在于：所述识别密集陈列商品的装置包括如下单元：

商品检测模型，用于检测输入图像中的单个商品，输出每个商品的空间位置关系的信息；

商品聚类模块，用于将所有检测到的商品根据空间位置关系划分到不同的商品簇中，每个商品簇内部具有较强的空间上下文信息，商品簇之间的具有较弱的空间上下文信息；

图像截取模块，根据检测到的商品位置截取关心区域的图像，输出单个商品的切图；

商品分类模型，用于对检测到的单个商品进行分类，输出每个商品的类别概率分布估计信息；

特征序列生成模块，基于每个商品簇内部所有商品的空间位置关系和类别概率分布估计信息组合成商品簇的对应的特征序列，即该商品簇的概率分布特征序列；

序列上下文特征提取模块，根据输入的该商品簇的概率分布特征序列，进行上下文信息提取和融合，输出上下文特征向量，即线性可分特征向量；

注意力模块，为所述序列上下文特征提取模块提供注意力向量，用于控制上下文信息利用范围；

商品二次分类器，基于输入的上下文特征向量进行二次分类，得到该商品簇的各个商品新的类别概率分布估计，并根据该概率分布估计得到该商品簇的最终类别。