[发明专利]一种箱柜食物智能管理系统及管理方法

权利要求书

1.一种应用箱柜食物智能管理系统的管理方法，用于存储食物的箱柜中，其特征在于，该管理系统包括包括有食物识别系统、用户APP端、运营管理系统，其中：

所述食物识别系统，包括有识别机构、视频流服务器、识别服务器和存储服务器，根据采集的食物进出信息进行分析判断，将分析判断所得到的食物数据信息进行存储；

所述用户APP端，包括有设备绑定模块、分区分类管理模块、食物管理模块、店铺商品模块、菜单食谱模块和数据处理模块，用于接收食物识别系统所存储的食物数据信息，并根据食物数据信息进行管理维护，以及提供线上食物购买服务；

所述运营管理系统，包括有基础管理模块、用户管理模块、设备管理模块、店铺管理模块、消息管理模块和广告管理模块，用于店铺的线上运营管理；

该管理方法包括如下步骤：

1)进行图像的获取，通过摄像头对准箱柜门前面区域，拍摄物品放入或者取出箱柜的画面，摄像头个数至少一个，且每一个摄像头都有一个ID，绑定本台箱柜，并与远程服务器连接；

2)进行图像的传输及分配，每台箱柜获取的图像需要上传至视频流服务器，由视频流服务器分配至识别服务器；

3)进行食物的识别，由识别服务器加载的识别模型识别出相应图片，如果含有目标，那么保留当前箱柜的ID，图片信息，开启食物追踪模式；

4)进行食物的追踪，通过连续多帧中食物的移动趋势，判定食物所处状态，其中当模型识别出箱柜门开启后，当食物靠近箱柜可以判定是放食物，食物远离箱柜可以判定是取食物；

5)进行食物的管理，识别服务器，得出食物状态后，根据不同的状态做出反馈，当判断是放食物时，将食物的相关数据发送给存储服务器，存储，更新箱柜食物信息，并将结果同时发送给终端显示；当判断是取食物时，则将该食物的相关数据发送给存储服务器，并接收存储服务器返回的同类型食物特征，对同类型食物比对筛选出最可能的一种食物，返回给存储服务器，存储，更新食物信息，同时将结果发送给APP显示；

6)使用户携带的智能设备中的APP与箱柜进行绑定，并从存储服务器获取该箱柜对应的设备号和分区号/分类号；

7)根据设备号、分区号/分类号对分区、分类的信息内容进行增、删、改的操作，完成后将信息发送至存储服务器进行存储；

8)访问存储服务器，根据设备号获取该设备下的所有食物信息并进行维护；

9)通过智能设备进行定位，并将位置信息发送至存储服务器，经存储服务器筛选出附近店铺信息，并根据店铺信息选择店铺和购买食品；

提供线上食物购买服务的方法为：

登录/打开app后，根据依赖的百度地图/高德地图的定位API，获取当前手机的位置信息，将此信息发送至服务端，经服务端判断筛选后，返回附近的店铺信息列表；

进入店铺列表后，向服务端请求手机位置附近的店铺数据信息，信息会以距离递增的效果以列表形式展示在界面上；用户可根据店铺不同的编号进入对应店铺选择购买需要的东西；

在进入店铺后，用户可根据需要点击底部“加入购物车”将食品加入，进行统一管理；

在购物车中选择要购买的商品后，点击下方结算按钮后选择支付方式；

在步骤1)中，所述摄像头的识别处理方法如下：

1)获取摄像头视频数据：摄像头检测到镜头前物品达到触发条件会发送一个信号给到视频接收器，视频接收器收到信号后与摄像头建立socket连接，连接建立成功后摄像头往视频接收器发送视频数据；

2)对视频数据进行解码处理：视频接收器将获取到的视频数据发送给视频分段处理器，视频分段处理器在收到一段数据后开始一个新的线程，持续监控接下来一段时间获取到的原始视频数据，并将此段数据进行解码，并且抓取图片，每段视频首次抓取图片成功后会新建一个视频图片处理器，且将此视频放入视频图片处理器调度线程中的队列，每次抓取到的图片放入视频图片处理器中，整段视频抓取完毕后标识这个视频图片处理器为已抓取完毕；

3)对视频图片进行处理：在服务器启动时会开启一个视频图片处理器调度线程，这个线程会去持续取出自身队列中的视频图片处理器，当取出到视频图片处理器时，会使用一个图片识别接口调用器，图片识别接口调用器提供调用图片识别接口的函数，能够对图片进行识别且返回图片处理结果，将其结果指定到一个图片识别结果处理器；

所述图片识别结果处理器的判断方法为：通过网络摄像头，拍摄并捕捉视野范围内的运动目标，分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，对图像数据进行训练，用训练好的模型对目标对象进行识别，给出识别的目标位置，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定；

其中，用训练好的模型对目标对象进行识别，对象包括手掌A、手掌-手持物品B、物品C，给出识别的目标位置box、类别class、得分score，分别为手掌的目标位置box_A、手掌的类别class_A、手掌的得分score_A、手掌-手持物品的目标位置box_B、手掌-手持物品的类别class_B、手掌-手持物品的得分score_B、物品的目标位置box_C、物品的类别class_C、物品的得分score_C；

其中，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，判定是否包含class_A，如果不包含，认为此帧没有目标，等待下一帧的检测，如果包含class_A，则保存相关的class_A、box_A、score_A的数据，并继续去检查class_B和class_C，如果存在，则保存相关的class_B、box_B、score_B和class_C、box_C、score_C的数据，通过不同的class_A与class_C目标的交并比IOU_{A_C}来判定哪些目标是一体的，剔除错误目标，而多组IOU_{A_C}构成集合E(IOU_{A_C})，通过非极大值抑制nms，去掉集合E(IOU_{A_C})和多个class_B的集合E(class_B)中重复的目标；

其中，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定，轨迹共有取、放、不确定三种状态，依靠当前目标box_now中心点与前一帧的目标box_pre的位置差确认轨迹的状态，设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)，趋势判定为

if box_now.x＞box_pre.x and box_now.y＞box_prey：take

if box_now.x＜box_pre.x and box_now.y＜box_pre.y：put

if(box_now.x-box_pre.x)*(box_now.y-box_pre.y)＜0：unsure

如果E(object)的第一个对象移动趋势与E(track)中某个轨迹一致，该对象属于该轨迹，更新轨迹，如果不一致，则在E(object)中依次选择目标与E(track)的轨迹进行比较，如果都没有匹配，则将当前E(object)列为疑似轨迹加入E(track)中，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除；

在步骤4)中，所述食物的追踪方法为：

通过相机安装的位置确定食物的进出方向，令P(x，y)表示食物在相机中的坐标，P_pre(x，y)表示前一帧食物坐标，P_now(x，y)表示当前帧食物坐标，

P_diff(x，y)表示两者之差，具体公式如下：P_diff(x，y)＝P_now(x，y)-P_pre(x，y)，如靠近相机认为是放食物，此时P_diff(x，y)值为正，远离相机认为是取食物，此时P_diff(x，y)值为负；当连续N帧中的食物的坐标P_diff(x，y)都为正，N为算法预设值，则认为此时的状态为放食物，当连续N帧中的食物坐标P_diff(x，y)为负，则认为此时状态为取食物。