[发明专利]一种基于人体骨架的行人异常行为检测方法

说明书

本发明提供的一种基于人体骨架的行人异常行为检测方法，包括以下步骤：步骤1，对图像进行行人检测，并利用检测框进行框定，得到行人检测框；步骤2，从步骤1中得到的行人检测框中提取人体骨架信息，得到人体骨架信息图片，并对该图片进行去除背景预处理；步骤3，利用基于残差的多尺度信息融合识别网络对步骤2中的预处理后的人体骨架信息图片进行行人异常行为检测，得到一个四维向量，分别对应人体异常行为的四类动作；本发明有效利用骨架信息以及多尺度信息，大大提升了算法的检测准确率、增强了算法的鲁棒性，使其应用不受场景约束。

技术领域

本发明属于智能视频监控领域，具体涉及一种基于人体骨架的行人异常行为检测方法。

背景技术

近年来随着计算机技术的发展和安防需求的增加，智能视频监控越来越成为计算机视觉领域研究的热点,它与传统意义上的监控系统在智能性上有很大的不同。传统的监控系统采用摄像头记录，人作为主体去进行视频内容的监视识别，这种方式不仅耗费大量的人力、物力，还存在一个很严重的问题：人在长时间从事同一项工作时会很容易疲劳并忽略一些细节的信息。智能视频监控系统通过机器学习或深度学习等算法赋予了机器自主决策的能力，计算机在监控的同时能智能识别监控画面中的内容，协助甚至代替人完成监控任务，从而可以减轻工作人员的负担。当在公共区域发生一些异常行为，例如打架斗殴、奔跑、跌倒时，如果能够对特定行为进行实时检测识别，从而被及时发现并报警制止，便能够很大程度上降低受伤害的可能性，是一种非常有效的安全措施。

目前主流的人体行为识别算法大致分为三类：基于双流法的行为识别算法、结合LSTM的行为识别算法以及基于3D卷积的行为识别算法。其中基于双流法的行为识别算法包含两个网络分支，其中一个网络分支输入为单帧图像，通过提取图像中的特征信息从而得到空间域信息，另外一个网络分支输入为视频中的某一帧以及其后面的n帧图像，通过堆叠连续帧生成光流场来负责处理视频中的光流信息，最后将两个网络的输出进行融合得到识别结果。结合LSTM的行为识别算法中，首先通过卷积神经网络提取输入图像的空间特征，然后将得到的特征图像作为LSTM网络的输入，进而提取行为中的时序特征来进行预测。基于3D卷积的行为识别算法中，对普通2D卷积核进行了改进，扩充到三维，增加的维度来负责处理时间域的信息。与双流法中光流场计算类似，3D卷积也是通过将多个连续帧堆叠组成立方体，然后在组成的立方体中使用3D卷积核进行运算。

虽然这类算法在特定条件下可以较为准确地检测出运动物体以及其运动信息，但是存在较大的局限性，其对于场景条件的要求极其苛刻以至于在实际部署中是不适用的。主要体现在以下两个方面：

一是算法对场景的要求极高，场景和亮度均不能发生变化。所识别的场景或者亮度发生变化时，这类算法可能会将背景误认为前景，即运动物体，去进行错误的识别，会对算法性能产生较大的影响，导致误判率大大增高。光流场其实并不能反映物体的真实运动，当光源发生变化时，物体由于光照的位移其影子发生了变化，产生了光流，会误判物体发生了运动。但是实际情况是物体并没有移动，只是光源发生了变化。由此可以看出，光流法对于光线太过敏感，亮度、场景的变化会对识别造成较大影响。

二是光流法假设的前提是物体发生的是小幅度的运动，即在一定的时间范围内，运动物体不会发生剧烈的位置变化，相邻帧之间运动物体的位移要比较小。但是在实际情况中，比如人的跑动、打斗、跌倒等这些行为是幅度很大的一些行为，对此传统的光流法是不适用的。

在实际应用中，对行人行为的检测场景是极其复杂的，场景中可能有很多噪声的影响；而且亮度随着昼夜、阴晴的交替更是不可能不变的；所以这类算法在实际应用中准确率不高，鲁棒性太差，严重影响了模型实际部署的效果。

发明内容

本发明的目的在于提供一种基于人体骨架的行人异常行为检测方法，解决了现有技术中存在的准确率低、鲁棒性差的缺陷。

为了达到上述目的，本发明采用的技术方案是：

本发明提供的一种基于人体骨架的行人异常行为检测方法，包括以下步骤：