[发明专利]一种基于人体骨骼检测和跟踪算法的行为识别方法

权利要求书

1.一种基于人体骨骼检测和跟踪算法的行为识别方法，其特征在于，该方法包括以下步骤：

步骤1：利用基于深度卷积神经网络的目标检测算法对输入图像中的手机和人物进行识别和定位，识别信息包括目标的中心点坐标、长宽高和类别，目标检测算法采用单阶段模型，使用轻量网络作为骨干部分来提取图片特征，利用双向特征金字塔结构融合多尺度特征信息，所述的目标检测算法采用EfficientDet-D0算法，所述轻量网络采用EfficientNet网络；

步骤2：利用基于卡尔曼滤波和匈牙利算法的多目标跟踪算法，针对输入图像融合前后图像帧的时空信息，进一步对目标人物进行跟踪，多目标跟踪算法采用DeepSort算法，同时考虑运动信息的关联和目标外观信息的关联，具体包括：在步骤1目标检测的基础上，使用卡尔曼滤波实现状态预测，利用匈牙利算法来对上下帧中的多个目标进行匹配与连接，以实现目标跟踪；

步骤3：利用自下向上的轻量人体姿态估计算法检测图像中关节点坐标，融合网络预测的热图和部件亲和度图，使用匈牙利算法来对图像中每个人的关节点进行连接和匹配，自下向上的轻量人体姿态估计算法采用以GhostNet作为骨干网络的单分支轻量OpenPose算法；

步骤4：计算图像中每个人的手腕与每部手机的中心距离，若距离小于对应阈值，计算对应手肘的弯曲角度，若距离大于对应阈值，则认为没有玩手机，采用欧几里得距离对人体腕部和手机的距离进行描述，且若图像中存在多个手机，则每个手机只能与人体连接一次，即若当前手机已与单个人物相连，则下一次迭代时该手机不再参与计算，所述的手肘的弯曲角度的计算公式为：

式中，α为手肘的弯曲角度，(x₁,y₁)为手肘坐标，(x₂,y₂)为肩部坐标，(x₃,y₃)为手腕坐标；

步骤5：若距离和弯曲角度均小于对应阈值，则增加当前人物的可疑指数，若可疑指数超过对应阈值，则认为当前人物正在玩手机；反之，若可疑指数超过一段帧数后均未更新，则删除该可疑指数对应的人物目标，采用可疑指数对人物目标是否在玩手机的可疑程度进行描述，引入时间容错机制，当同一个人的可疑指数连续增加并超过阈值后，则认为其正在玩手机。