[发明专利]一种识别冰箱中食材的方法及装置

权利要求书

1.一种识别冰箱中食材的方法，其特征在于，包括：

获取冰箱内部的目标拍摄图像；

分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：

按照对应一种规格的滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述滑动窗口；其中，每滑动一次，将所述滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

2.如权利要求1所述的方法，其特征在于，获取冰箱内部的目标拍摄图像，包括：

针对所述冰箱内部的一个层架进行拍摄，获得所述目标拍摄图像。

3.如权利要求1所述的方法，其特征在于，获取冰箱内部的目标拍摄图像，包括：

将通过摄像头获得的冰箱内部图像，作为初始拍摄图像；

确定所述初始拍摄图像中的物品占用区域，按照预定规格对所述初始拍摄图像中除所述物品占用区域之外的区域进行剪裁；其中，所述物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域；

将剪裁后得到的图像作为目标拍摄图像。

4.如权利要求1所述的方法，其特征在于，包括：

按照水平方向滑动所述滑动窗口。

5.如权利要求1－4任一项所述的方法，其特征在于，将所述一个滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，包括：

通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别，分别获得所述一个局部拍摄图像中包含每一种食材的识别概率；

分别将每一种食材的识别概率与预设阈值进行比较，获得比较结果；

基于所述比较结果，确定存在识别概率大于所述设定阈值的一种食材时，将所述一种食材作为识别结果输出。

6.如权利要求5所述的方法，其特征在于，识别设备通过卷积神经网络对所述一个局部拍摄图像进行图像内容识别之前，进一步包括：

将所述一个局部拍摄图像和背景拍摄图像进行对比，所述背景拍摄图像是指：冰箱内部没有物品的情景下拍摄到的图像；

根据对比结果，确定所述一个局部拍摄图像和背景拍摄图像不相同时，则确定能够进行后续的图像识别。

7.如权利要求1－4任一项所述的方法，其特征在于，进一步包括：

将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。

8.一种识别冰箱中食材的装置，其特征在于，至少包括拍摄单元和识别单元，其中：

拍摄单元，用于获取冰箱内部的目标拍摄图像；

识别单元，用于分别采用预设的滑动窗口集合中的每一种规格的滑动窗口对所述目标拍摄图像执行以下操作：

按照对应一种规格的滑动窗口预设的滑动步长，在所述目标拍摄图像上滑动所述滑动窗口；其中，每滑动一次，将所述滑动窗口当前覆盖的区域作为一个局部拍摄图像进行图像内容识别，输出相应的识别结果，以及若相邻所述滑动窗口的识别结果相同，则将相邻所述滑动窗口合并为目标识别窗口。

9.如权利要求8所述的装置，其特征在于，所述拍摄单元具体用于：

将通过摄像头获得的冰箱内部图像，作为初始拍摄图像；

确定所述初始拍摄图像中的物品占用区域，按照预定规格对所述初始拍摄图像中除所述物品占用区域之外的区域进行剪裁；其中，所述物品占用区域为推断出的冰箱内的物品对应的图像所在的大致区域；

将剪裁后得到的图像作为目标拍摄图像。

10.如权利要求8或9所述的装置，其特征在于，进一步包括：

上报单元，用于将最终获得的各个目标识别窗口对应的识别结果上报至控制系统。