[发明专利]采集货柜商品售卖信息的方法、系统、设备和存储介质

权利要求书

1.一种采集货柜商品售卖信息的方法，其特征在于，包括如下步骤：

按时间顺序依次获取摆设有商品的货柜图片；

获取每相邻两张货柜图片中前一张图片上的商品信息；

依次对每相邻两张货柜图片进行调整处理，以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致；

对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内是否存在不同的图像内容；

当存在不同的图像内容时，获取图像内容不同的商品区域的数量和对应在所述前一张图片上的商品信息。

2.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述依次对每相邻两张货柜图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括：

获取相邻两张货柜图片中的位于不同商品上的特征点；

将所述相邻两张货柜图片中的特征点进行配对，以计算得到单应性矩阵；

按照拍摄时间顺序，将所述两张图片中的后一张图片根据单应性矩阵进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

3.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述的依次对若干图片中的每相邻两张货柜图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括：

按照拍摄时间顺序，检测所述相邻两张货柜图片中的前一张图片中的商品，以使前一张图片中的商品带有第一标记框；

利用模板匹配的方式，在后一张图片中标记出与所述第一标记框相对应的第二标记框；

将相对应的两个所述标记框的中心点作为对应的特征点；

利用所述对应的特征点计算得到单应性矩阵；

利用所述单应性矩阵，将所述相邻两张图片中的后一张图片进行透视变换，以得到拍摄角度和对应商品区域的商品位置一致的两张图片。

4.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域，以确定所述对应商品区域内位置是否存在不同的图像内容的步骤包括：

将经过调整处理的每相邻的两张所述货柜图片进行通道维度叠加，得到对应商品区域重叠的图像矩阵；

将所述图像矩阵输入至能够识别所述图像矩阵中对应商品区域的图像内容的识别模型中，以检测出其中内容不同的商品区域。

5.如权利要求4所述的采集货柜商品售卖信息的方法，其特征在于，训练所述识别模型的方法包括如下步骤：

按时间顺序依次获取模拟货柜商品售卖变化的多张模拟图片；

依次将多张所述模拟图片中的每相邻两张图片进行调整处理，以使两张图片的拍摄角度和对应商品区域的商品位置一致；

在经过调整处理的每相邻两张模拟图片中按时间顺序排列的前一张中，进行标记处理，以标记出模拟卖掉商品的区域；

将经过所述标记处理的每相邻两张模拟图片进行通道维度叠加，以得到对应商品区域重叠的模拟图像矩阵；

利用所述模拟图像矩阵训练一模型，以获得能够识别对应商品区域的图像内容的识别模型。

6.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述获取每相邻两张货柜图片中前一张图片上的商品信息的步骤包括：

检测所述每相邻两张货柜图片中前一张图片上的所有商品；

将所述前一张图片上的每个商品所占的区域进行抠图处理，以使每个商品所占的区域形成独立的抠图图像；

识别所述抠图图像，以获得每个抠图图像中与所述前一张图片上的每个商品一一对应的商品信息。

7.如权利要求1所述的采集货柜商品售卖信息的方法，其特征在于，所述方法还包括：

将所述每相邻两张货柜图片中前一张图片输入至一预先训练好的重复区域检测模型中，以检测出所述前一张图片中的重复区域；

去除位于所述重复区域中被重复计算的商品信息和数量，以得到去重后的图像内容不同的商品区域的数量和对应的商品信息。