[发明专利]冰箱内物品识别方法、冰箱和计算机存储介质

权利要求书

1.一种冰箱内物品识别方法，其特征在于，包括步骤：

获取多幅于同一点位拍摄得到的冰箱存储空间图像，并选择一幅所述图像作为基准图像；

检测识别并标识所述基准图像内的物品信息；

比较其余所述图像与所述基准图像，根据两者间的重复度，将其余所述图像内容分割为相似区域和差别区域；

在所述相似区域内沿用所述基准图像内对应物品信息进行标识，抠取所述差别区域图像进行二次检测识别，并进行二次标识。

2.根据权利要求1所述的冰箱内物品识别方法，其特征在于，“获取多幅于同一点位拍摄得到的冰箱存储空间图像”具体包括：

在每次检测到满足拍摄要求后，分别拍摄图像，或

以固定时间间隔依次拍摄得到多幅图像，或

拍摄一段时间内的视频影像，并以固定帧数间隔截取所述视频得到多幅图像。

3.根据权利要求1所述的冰箱内物品识别方法，其特征在于，“检测识别所述基准图像内的物品信息”具体包括：

基于检测算法模型，获取所述基准图像内不同物品，并标识其目标检测框；

基于分类网络模型，对所述目标检测框内的物品进行分类识别，获取其信息，并对物品进行标识。

4.根据权利要求3所述的冰箱内物品识别方法，其特征在于，“比较其余所述图像与所述基准图像，根据两者间的重复度，将其余所述图像内容分割为相似区域和差别区域”具体包括：

获取其余所述图像内不同物品的目标检测框；

将所述基准图像目标检测框平移到其余所述图像中，计算目标检测框之间的交并比，剔除其中与任一目标检测框交并比大于预设阈值的目标检测框，将剩余目标检测框标记为二次目标检测框；

将二次目标检测框内区域标识为差别区域，其余区域标识为相似区域。

5.根据权利要求4所述的冰箱内物品识别方法，其特征在于，“所述相似区域采用所述基准图像内物品信息，抠取所述差别区域图像进行二次检测识别”具体包括：

将所述基准图像内对应于所述相似区域内的物品识别信息直接标识在其余所述图像相同位置处；

将其余所述图像中的所述差别区域抠取得到二次检测图像；

基于检测算法模型和分类网络模型，对所述所述二次检测图像内物品进行分类识别，获取其信息。

6.根据权利要求5所述的冰箱内物品识别方法，其特征在于，“进行二次标识”具体包括：

当检测识别到所述二次检测图像内物品信息后，将其标识在原图像对应被抠取部分；

当未检测到所述二次检测图像内存在物品后，不对原图像进行处理。

7.根据权利要求6所述的冰箱内物品识别方法，其特征在于，“进行二次标识”还包括：

当检测识别出所述二次检测图像内物品信息，并且检测到其不存在于所述基准图像内时，将该物品所对应的二次目标检测框平移到所述基准图像内，并抠取对应区域得到三次检测图像；

基于检测算法模型和分类网络模型，对所述所述二次检测图像内物品进行分类识别，获取其信息。

8.根据权利要求3所述的冰箱内物品识别方法，其特征在于，所述检测算法模型为YOLOv4目标检测算法，所述分类网络模型为基于ResNet18深度卷积神经网络。

9.一种冰箱，包括：摄像机以及存储器和处理器，其特征在于，

所述摄像机被配置用于拍摄冰箱内存储空间图像；

所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-8中任意一项所述冰箱内物品识别方法的步骤。

10.根据权利要求9所述的冰箱，其特征在于，所述冰箱包括多个瓶座，多个所述瓶座从上至下依次排布设置在冰箱门体上，所述摄像机设置于所述瓶座底部，竖直向下设置，用于拍摄其下方瓶座空间内图像。