[发明专利]冰箱内物品信息识别方法、冰箱和计算机存储介质

说明书

本发明提供一种冰箱内物品信息识别方法、冰箱和计算机存储介质，所述冰箱内物品信息识别方法通过于多个角度拍摄冰箱存储空间内图像，并在建立多幅图像的映射关系后，针对在多幅图像中识别结果出现偏差的物品检测其被遮挡面积，选择以被遮挡区域较小的图像中物品的检测识别结果作为输出结果，降低了食材间相互遮挡对识别结果的影响，提高了冰箱在图像识别中的准确率。

技术领域

本发明涉及制冷装置领域，具体地涉及一种冰箱内物品信息识别方法、冰箱和计算机存储介质。

背景技术

随着家用电器智能化的发展，对内部物品进行识别已经是智能冰箱所必需的功能。通常为了实现对冰箱内存放物品的识别，冰箱的内部储存空间内都安装有一个或多个摄像头用于拍摄冰箱内存放物品，并对拍摄的照片进行处理后生成识别结果发送到使用终端，以供用户查看。

然而，拍摄冰箱内物品图像时，由于物品通常摆放较密集，在图像上物品之间通常存在互相遮挡而导致难以识别。

发明内容

本发明的目的在于提供一种冰箱内物品信息识别方法、冰箱和计算机存储介质。

本发明提供一种冰箱内物品信息识别方法，包括步骤：

获取多个不同角度拍摄的冰箱内储存空间图像；

建立多幅图像之间的映射关系，根据所述映射关系，确认储存空间内同一物品分别在不同所述图像中的位置；

分别于多幅图像中检测识别所述物品的类别信息；

若同一所述物品在不同图像中类别信息识别结果一致，则判断该所述识别结果为最终输出信息；

若同一物品在不同图像中类别信息识别结果不一致，则检测识别多幅图像中该所述物品被其他物品或冰箱结构所遮挡区域面积的大小，并以被遮挡区域面积最小的一幅图像中所检测识别的物品类别信息作为最终输出信息。

作为本发明的进一步改进，“建立多幅图像之间的映射关系”具体包括：

提取多幅图像中的特征点；

匹配特征点描述子，找到两张图中匹配的特征点对；

计算变换对应变换关系矩阵。

作为本发明的进一步改进，“检测识别多幅图像中该所述物品未被其他物品或冰箱结构所遮挡区域面积的大小，并以为被遮挡区域面积最大的一幅图像中所检测识别的物品类别信息作为最终输出信息”具体包括：

使用K-Means聚类算法对物品图像中的像素点进行聚类，将像素点划分为遮挡物区域像素点和物品区域像素点；

计算多幅图像中物品区域像素点数量，并以数量最多的一幅图像中所检测识别的物品类别信息作为最终输出信息。

作为本发明的进一步改进，“检测识别多幅图像中该所述物品未被其他物品或冰箱结构所遮挡区域面积的大小，并以为被遮挡区域面积最大的一幅图像中所检测识别的物品类别信息作为最终输出信息”具体包括：

使用边缘检测算法识别物品边缘轮廓线；

计算多幅图像中物品区域像素点数量，并以像素点数量最多的一幅图像中所检测识别的物品类别信息作为最终输出信息。

作为本发明的进一步改进，“获取以至少两个不同角度拍摄的同一冰箱内储存空间的图像”具体包括：

获取以两个不同角度所拍摄的冰箱瓶座内空间的鸟瞰图像，得到第一图像和第二图像。

作为本发明的进一步改进，“获取以两个不同角度所拍摄的冰箱瓶座内空间的鸟瞰图像”具体包括：

检测到冰箱门体运动至与冰箱箱体之间夹角呈预设角度；