[发明专利]一种冰箱食材录入管理方法、装置及系统

说明书

本发明提供了一种冰箱食材录入管理方法、装置及系统。服务器监测冰箱发来的视频流中是否存在将食材放入冰箱的动作；若存在则识别该食材；识别成功时记录该食材的食材录入信息，识别失败时从视频流中确定出该食材的食材图像；基于识别出的全部食材，确定食材录入成功奖励信息并发送给冰箱；从视频流中确定出冰箱门关闭时的、包括识别出的各个食材的图像的食材展示图像，并对应添加上记录的各食材录入信息，得到食材录入展示图像并发送给冰箱；存在识别失败的食材时，生成包括确定出的各食材图像的识别失败通知信息并发送给冰箱。食材识别失败时无奖励，故用户获知识别失败的食材后，可拆除食材包装后再次放置，以便于冰箱食材的准确识别。

技术领域

本发明涉及计算机技术领域，特别涉及一种冰箱食材录入管理方法、装置及系统。

背景技术

通过对冰箱食材录入进行管理，可以了解到各个冰箱用户的需求及喜好，以便为用户提供针对性服务，比如菜谱推荐、食材优惠推送等。

目前，冰箱中设置的摄像头可以拍摄到的冰箱内部图像，服务器通过图像识别，即可了解到冰箱内的食材信息。

但是，用户放置食材时，容易存在不拆除食材包装的情况，从而不利于冰箱食材的准确识别。

发明内容

本发明提供了一种冰箱食材录入管理方法、装置及系统，有利于冰箱食材的准确识别。

为了达到上述目的，本发明是通过如下技术方案实现的：

第一方面，本发明提供了一种冰箱食材录入管理方法，应用于服务器，包括：

接收一冰箱发来的视频流；

通过处理所述视频流，监测所述视频流中是否存在将食材放入冰箱的动作；

在监测到将食材放入冰箱的动作时，识别该食材，若识别成功，记录该食材的食材录入信息，若识别失败，从所述视频流中确定出该食材的食材图像；

存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息；

从所述视频流中确定出冰箱门关闭时的食材展示图像，该食材展示图像包括识别出的各个食材的图像；

将记录的各个食材的食材录入信息，对应添加到该食材展示图像中的、各个食材的图像处，得到食材录入展示图像；

将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱；

以及，

存在识别失败的食材时，生成识别失败通知信息，所述识别失败通知信息包括确定出的、识别失败的各个食材的食材图像；

将所述识别失败通知信息发送给所述冰箱。

进一步地，在所述接收一冰箱发来的视频流之后，进一步包括：

所述视频流中不存在将食材放入冰箱的动作时，从所述视频流中确定出冰箱门打开时的食材展示图像和冰箱门关闭时的食材展示图像；

针对冰箱门关闭时的食材展示图像中的每一个食材的图像，均执行：对于当前食材，判断冰箱门打开时的食材展示图像中是否包括有当前食材的图像，若否，识别当前食材，若识别成功，记录当前食材的食材录入信息；

存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息；

将记录的各个食材的食材录入信息，对应添加到冰箱门关闭时的食材展示图像中的、各个食材的图像处，得到食材录入展示图像；

将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱。

进一步地，在所述确定食材录入成功奖励信息之前，进一步包括：