[发明专利]一种商品货架整洁度识别方法及系统

权利要求书

1.一种商品货架整洁度识别方法，其特征在于，包括：

确定评价商品货架整洁度的标准图片；

提取商品货架的实时图片；

比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报；

所述确定评价商品货架整洁度的标准图片，包括：

在预设时间点，或者，每隔预设时长，从被监控门店的监控视频中提取没有前景移动目标的实时图片；

对所述实时图片显示的商品货架整洁度进行评分，若所述评分符合预设评分标准，则将所述实时图片确定为标准图片；

其中，对所述实时图片显示的商品货架整洁度进行评分，包括：

基于视觉特征的方法，提取商品货架上的显著性目标区域；

根据所述目标区域的sobel外轮廓，采用DBSCAN的聚类算法，得到限定长度的轮廓聚类；

判断所述轮廓聚类的主方向，根据所述主方向的集中指向度进行评分；

所述比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，包括：

分别提取所述标准图片的显著性区域和实时图片的显著性区域；

将所述标准图片的显著性区域作为mask，应用于所述实时图片上；

根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动，包括：

对所述标准图片的显著性区域和实时图片的显著性区域进行二值化，提取变化的前景区域，用小框显示；

根据DBSCAN的目标二叉树级联算法，将相交或者在给定距离内的小框进行融合，直至融合后得到的融合框的面积大于或等于第一阈值；

判断所述融合框及未被融合的小框的面积是否小于第二阈值，若是，剔除所述融合框或未被融合的小框，以输出目标框，所述目标框内的区域即为商品被移动的区域。

2.根据权利要求1所述的方法，其特征在于，所述从被监控门店的监控视频中提取没有前景移动目标的实时图片，包括：

从被监控门店的监控视频中提取多帧商品货架的实时图片；

判断当前帧的实时图片是否有前景移动目标，若是，剔除掉当前帧的实时图片，提取下一帧的实时图片，直至提取的实时图片中没有前景移动目标。

3.根据权利要求1所述的方法，其特征在于，还包括：

分别对所述标准图片和实时图片中的商品货架做透视投影，得到垂直视角的第一投影图片和第二投影图片；

所述比对所述标准图片及实时图片，具体为：

将所述第一投影图片和第二投影图片进行比对。

4.根据权利要求1所述的方法，其特征在于，所述在确定所述商品被移动且不符合预设整洁标准时，向用户上报，包括：

根据所述目标框内的亮度面积及亮度值，判断目标框内的商品被移动的剧烈程度；

根据所述目标框内的纹理特征，判断目标框内的商品是移动还是丢失；

通过目标框的不同显示方法，向用户上报被剧烈移动的商品及商品丢失区域。

5.根据权利要求4所述的方法，其特征在于，所述不同显示方法，包括以下项中的至少一项：

不同颜色、不同形状、不同显示形式。

6.一种商品货架整洁度识别系统，其特征在于，包括：

确定单元，用于确定评价商品货架整洁度的标准图片；

提取单元，用于提取商品货架的实时图片；

比对单元，用于将所述实时图片与标准图片进行比对，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报；

其中，所述确定评价商品货架整洁度的标准图片，包括：

在预设时间点，或者，每隔预设时长，从被监控门店的监控视频中提取没有前景移动目标的实时图片；

对所述实时图片显示的商品货架整洁度进行评分，若所述评分符合预设评分标准，则将所述实时图片确定为标准图片；

其中，对所述实时图片显示的商品货架整洁度进行评分，包括：

基于视觉特征的方法，提取商品货架上的显著性目标区域；

根据所述目标区域的sobel外轮廓，采用DBSCAN的聚类算法，得到限定长度的轮廓聚类；

判断所述轮廓聚类的主方向，根据所述主方向的集中指向度进行评分；

所述比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，包括：

分别提取所述标准图片的显著性区域和实时图片的显著性区域；

将所述标准图片的显著性区域作为mask，应用于所述实时图片上；

根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动，包括：

对所述标准图片的显著性区域和实时图片的显著性区域进行二值化，提取变化的前景区域，用小框显示；

根据DBSCAN的目标二叉树级联算法，将相交或者在给定距离内的小框进行融合，直至融合后得到的融合框的面积大于或等于第一阈值；

判断所述融合框及未被融合的小框的面积是否小于第二阈值，若是，剔除所述融合框或未被融合的小框，以输出目标框，所述目标框内的区域即为商品被移动的区域。