[发明专利]智能冰箱及智能冰箱内的抽屉状态检测方法

权利要求书

1.一种智能冰箱，其特征在于，包括：

箱体，所述箱体内设置有抽屉；

深度相机，设置在所述箱体的顶板上，用于对所述抽屉的活动区域进行图像采集；

彩色相机，与所述深度相机并排设置在所述箱体的顶板上，用于对所述抽屉的活动区域进行图像采集；

存储器，用于存储可被处理器执行的计算机程序；

所述处理器，分别与所述深度相机和所述存储器连接，被配置为：

控制所述深度相机进行图像采集，得到深度图像；

对所述深度图像进行物体检测；

当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；

将识别的几何形状与预设的抽屉形状进行比对；

根据比对结果，确定所述抽屉的开关状态；

若识别的几何形状与所述预设的抽屉形状匹配时，获取所述彩色相机采集的彩色图像；

对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果；

当所述几何形状与预设的抽屉形状的比对结果与所述抽屉特征检测结果不匹配时，则基于所述彩色相机的识别结果确定所述抽屉的开关状态；

当所述几何形状与预设的抽屉形状的比对结果为匹配，且匹配结果包括匹配度，抽屉特征检测结果为识别到抽屉特征的可信度时，则将所述匹配度和所述可信度分别与各自的权重进行相乘后，进行作加法运算得到的结果作为最终的匹配数值，并基于所述匹配数值确定所述抽屉的开关状态。

2.根据权利要求1所述的智能冰箱，其特征在于，所述处理器还被配置为：

在确定所述抽屉处于开启状态时，根据所述几何形状的边界识别所述抽屉的拉出长度。

3.根据权利要求2所述的智能冰箱，其特征在于，所述处理器执行所述根据所述几何形状的边界识别所述抽屉的拉出长度时，被配置为：

在所述深度相机的坐标系中，获取所述几何形状的目标边界的边界位置；所述目标边界为所述几何形状的远离所述箱体的前侧面的边界；

将所述目标边界的边界位置转换到智能冰箱坐标系下，得到所述目标边界在所述智能冰箱坐标系中的位置；

在所述智能冰箱坐标系中，确定所述目标边界的初始位置和所述目标边界的位置之间的差值，得到所述抽屉的拉出长度；其中所述初始位置为所述抽屉处于关闭状态时的位置。

4.根据权利要求1所述的智能冰箱，其特征在于，所述处理器执行所述对所述深度图像进行几何形状识别时，被配置为：

根据所述活动区域在所述深度相机的坐标系内的位置信息，从所述深度图像中截取所述活动区域的图像区域；

对所述图像区域进行几何形状识别；

所述处理器执行所述对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果时，被配置为：

在所述彩色相机的坐标系中识别出与所述图像区域对应的图像范围；

在所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果。

5.根据权利要求4所述的智能冰箱，其特征在于，所述处理器在执行所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果时，被配置为：

从所述彩色图像中截取所述图像范围内的图像块；

将所述图像块输入到用于检测抽屉的开关状态的神经网络，得到抽屉特征检测结果；

其中，所述神经网络是根据以下方法训练得到的：

获取训练样本，所述训练样本包括彩色图像以及标注的抽屉的开关状态；

根据所述训练样本训练所述神经网络。

6.根据权利要求1所述的智能冰箱，其特征在于，所述处理器执行所述对所述深度图像进行物体检测时，被配置为：

在所述深度图像中检测手部特征；

若检测到所述手部特征则表示在所述深度图像中检测到物体。