[发明专利]冰箱内物品信息识别方法、冰箱和计算机存储介质

权利要求书

1.一种冰箱内物品信息识别方法，其特征在于，包括步骤：

获取多个不同角度拍摄的冰箱内储存空间图像；

提取多幅图像中的特征点，匹配特征点描述子，找到两张图中匹配的特征点对，计算变换对应变换关系矩阵，建立多幅图像之间的映射关系，根据所述映射关系，确认储存空间内同一物品分别在不同所述图像中的位置；

分别于多幅图像中检测识别所述物品的类别信息；

若同一所述物品在不同图像中类别信息识别结果一致，则判断该所述识别结果为最终输出信息；

若同一物品在不同图像中类别信息识别结果不一致，则检测识别多幅图像中该所述物品被其他物品或冰箱结构所遮挡区域面积的大小，计算多幅图像中物品区域像素点数量，并以被遮挡区域面积最小的一幅图像中所检测识别的物品类别信息作为最终输出信息。

2.根据权利要求1所述的冰箱内物品信息识别方法，其特征在于，“检测识别多幅图像中该所述物品未被其他物品或冰箱结构所遮挡区域面积的大小，并以为被遮挡区域面积最大的一幅图像中所检测识别的物品类别信息作为最终输出信息”具体包括：

使用K-Means聚类算法对物品图像中的像素点进行聚类，将像素点划分为遮挡物区域像素点和物品区域像素点；

计算多幅图像中物品区域像素点数量，并以数量最多的一幅图像中所检测识别的物品类别信息作为最终输出信息。

3.根据权利要求1所述的冰箱内物品信息识别方法，其特征在于，“检测识别多幅图像中该所述物品未被其他物品或冰箱结构所遮挡区域面积的大小，并以为被遮挡区域面积最大的一幅图像中所检测识别的物品类别信息作为最终输出信息”具体包括：

使用边缘检测算法识别物品边缘轮廓线；

计算多幅图像中物品区域像素点数量，并以像素点数量最多的一幅图像中所检测识别的物品类别信息作为最终输出信息。

4.根据权利要求1所述的冰箱内物品信息识别方法，其特征在于，“获取以至少两个不同角度拍摄的同一冰箱内储存空间的图像”具体包括：

获取以两个不同角度所拍摄的冰箱瓶座内空间的鸟瞰图像，得到第一图像和第二图像。

5.根据权利要求4所述的冰箱内物品信息识别方法，其特征在于，“获取以两个不同角度所拍摄的冰箱瓶座内空间的鸟瞰图像”具体包括：

检测到冰箱门体运动至与冰箱箱体之间夹角呈预设角度；

控制高于所需拍摄瓶座顶面且位于两处不同位置的摄像机分别拍摄冰箱瓶座内空间，得到所述第一图像和所述第二图像。

6.根据权利要求4所述的冰箱内物品信息识别方法，其特征在于，“获取以至少两个不同角度拍摄的同一冰箱内储存空间的图像”具体包括：

控制摄像机在高于所需拍摄瓶座顶面的位置沿预设路径运动；

分别在第一预设点位和第二设点位控制摄像机拍摄冰箱瓶座内空间得到所述第一图像和所述第二图像。

7.根据权利要求5或6所述的冰箱内物品信息识别方法，其特征在于，“分别于多幅图像中检测识别所述物品的类别信息”具体包括：

识别所述第一图像和所述第二图像中冰箱瓶座内物品的顶面图像信息；

根据所述顶面图像信息检测识别物品种类信息。

8.一种冰箱，其特征在于，

所述冰箱于箱体顶部和瓶座底面中的一处或两处设有至少两个位于不同位置的摄像机；

所述冰箱还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7中任意一项所述冰箱内物品信息识别方法的步骤。

9.一种冰箱，其特征在于，

所述冰箱于箱体顶部和/或瓶座底面设有传动结构，摄像机沿所述传动结构运动；

所述冰箱还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7中任意一项所述冰箱内物品信息识别方法的步骤。

10.一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行根据权利要求1-7中任意一项所述冰箱内物品信息识别方法的步骤。