[发明专利]一种手持物品的多目标跟踪和行为判定的装置和方法

权利要求书

1.一种手持物品的多目标跟踪和行为判定的装置，其特征在于：包括以下部分，

成像模块，用于拍摄并捕捉视野范围内的运动目标；

标注模块，用于分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，给训练模块提供训练数据；

训练模块，用于对标注模块标注的图像数据进行训练；

识别模块，用于用训练模块训练好的模型对目标对象进行识别，给出识别的目标位置；

轨迹跟踪模块，用于通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标；

判定模块，用于在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。

2.一种手持物品的多目标跟踪和行为判定的方法，其特征在于：通过网络摄像头，拍摄并捕捉视野范围内的运动目标，分别对手掌进行标注，对手掌-手持物品进行标注，对物品进行标注，生成标注图像数据，对图像数据进行训练，用训练好的模型对目标对象进行识别，给出识别的目标位置，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定。

3.根据权利要求2所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，对图像数据进行训练，采用rcnn算法或者yolo算法。

4.根据权利要求2所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，用训练好的模型对目标对象进行识别，对象包括手掌A、手掌-手持物品B、物品C，给出识别的目标位置box、类别class、得分score，分别为手掌的目标位置box_A、手掌的类别class_A、手掌的得分score_A、手掌-手持物品的目标位置box_B、手掌-手持物品的类别class_B、手掌-手持物品的得分score_B、物品的目标位置box_C、物品的类别class_C、物品的得分score_C。

5.根据权利要求4所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，通过目标对象轨迹，在一帧图像中，判定目标对象是否为疑似目标，判定是否包含class_A，如果不包含，认为此帧没有目标，等待下一帧的检测，如果包含class_A，则保存相关的class_A、box_A、score_A的数据，并继续去检查class_B和class_C，如果存在，则保存相关的class_B、box_B、score_B和class_C、box_C、score_C的数据，通过不同的class_A与class_C目标的交并比IOU_{A_C}来判定哪些目标是一体的，剔除错误目标，而多组IOU_{A_C}构成集合E(IOU_{A_C})，通过非极大值抑制nms，去掉集合E(IOU_{A_C})和多个class_B的集合E(class_B)中重复的目标。

6.根据权利要求5所述的一种手持物品的多目标跟踪和行为判定的方法，其特征在于：其中，在疑似目标的连续帧图像中，通过预先设定的行为判定逻辑，对轨迹进行限定，剔除部分明显不符合行为的轨迹，最终给出不同轨迹的行为判定，轨迹共有取、放、不确定三种状态，依靠当前目标box_now中心点与前一帧的目标box_pre的位置差确认轨迹的状态，设当前帧的疑似目标集合为E(object)，当前轨迹集合为E(track)，趋势判定为

ifbox_now.xbox_pre.xandbox_now.ybox_pre.y:take

ifbox_now.xbox_pre.xandbox_now.ybox_pre.y:put

if(box_now.x-box_pre.x)*(box_now.y-box_pre.y)0:unsure

如果E(object)的第一个对象移动趋势与E(track)中某个轨迹一致，该对象属于该轨迹，更新轨迹，如果不一致，则在E(object)中依次选择目标与E(track)的轨迹进行比较，如果都没有匹配，则将当前E(object)列为疑似轨迹加入E(track)中，当E(track)中有连续多帧都是一个趋势的话，确定该行为，并将轨迹删除。