[发明专利]一种基于骨架的监控视频中人体行为关键节点提取方法

说明书

本发明公开了一种基于骨架的监控视频中人体行为关键节点提取方法。该发明在行为检测领域有一定的通用性，可作为行为检测框架的一个模块。该专利中以打架、跌倒行为作为说明案例，展示对行为关键节点进行提取的方法。针对现有行为检测框架以固定的帧率抽取视频帧的不合理性，本发明提出根据人体的骨架关键点的运动信息动态调整抽取视频帧的位置以及抽取帧率，运动更快的行为节点段抽取更多视频帧。在现有的行为检测框架中加入基于骨架的人体行为关键节点提取模块能够更精准地确定特定行为发生的时空边界，取得更好的行为检测效果。

技术领域

本发明涉及深度学习中的视频理解领域，尤其涉及一种基于骨架的监控视频 中人体行为关键节点提取方法。

背景技术

当今社会人口数量庞大，公共安全问题已经成为国家重点关注领域，全国各 地增加了监控摄像头的数量，扩大了监控摄像头的覆盖面积，这就导致了视频监 控数据爆炸式增长，从大量数据中获取有用信息成为难题，仅靠人工筛查是非常 困难的，通过计算机中的行为检测技术可以对监控中人的行为进行实时监测，当 出现异常行为时及时告警，减轻安防人员的工作量。

行为检测属于视频理解领域，在对人体的行为进行判断时，需要同时考虑多 个连续帧存在的时序信息，仅靠单独一张图片或许不能判断出视频中的人在做什 么。传统的做法是以固定的时间间隔来处理输入长视频，比如隔两帧取一帧或者 五帧取一帧，但是这样没有考虑每个帧的重要性，每一帧的信息量是不同的，一 段长视频中可能存在大量重复的、静止的帧，而真正对行为分类有用的是少量的、 目标运动速度比较快的帧，这些帧应该以较小的时间间隔进行抽取。

随着深度学习的不断进步和发展，出现了Slowfast、AIA等优秀的行为检测 框架，但是在长视频中准确提取行为关键节点是行为检测的一个难题。本发明就 是着力解决上述提出的以固定时间间隔对长视频进行采样产生的行为检测算法 精度低的问题。本发明在行为检测领域有一定通用型，可作为一个单独的模块加 入到现有的行为检测框架中。

发明内容

为了克服上述提出的以固定时间间隔对长视频进行采样产生的行为检测算 法精度低的问题，本发明提出了一种基于骨架的监控视频中行为关键节点提取方 法。该技术引用了深度学习中的目标检测框架YOLO和人体姿态估计框架HRNet， 根据提取到的人体骨架关键点在帧之间的的运动状态来判断视频帧的信息量，并 根据此信息来判断行为关键节点并从视频序列中抽取对应的子序列作为行为检 测网络的输入。

本发明所采用的技术方案是：

步骤1：从实际应用场景中采集含有特定行为的长视频片段作为样本集。

步骤2：采用滑动窗口的方法依次对视频子序列进行处理，首先对窗口内的 视频帧进行人体检测，得到包含人体的图像块。

步骤3：经过步骤2得到主要包含人体的图像块，对这些图像块周围进行填 充，得到256×192大小的图像块，将图像块输入人体姿态估计网络，得到大小 为64×48×17的热力图，热力图中包含人体的17个关键点的预测信息。

步骤4：使用步骤3中产生的热力图提取17个关键点的二维坐标，则移动窗 口中的人体关键点特征表示为T表示视频段的帧数，P代表视 频段中的人数，关键点特征维度为T×P×17×2。

步骤5：计算视频帧的信息量，即计算相邻帧组合中的骨架关键点的相似度， 公式为

步骤6：该步骤是该专利的核心内容，在步骤5的基础上，利用计算得到的 视频帧的信息量动态地选取帧，信息量高的位置以较高的频率选取帧，信息量较 低的情况下以较低的频率选取帧。该步骤通过累积分布函数{cdf(1- p_i)}_{i＝1,…,T-1}来实现，通过公式：

可以计算出合理的采样时刻s_t，其中的α为采样率。