[发明专利]基于人体骨架的异常行为检测方法、系统及介质

说明书

本发明提供了一种基于人体骨架的异常行为检测方法、系统及介质，包括：步骤S1：建立训练视频样本数据库，根据公开的暴力行为数据库构建预设帧长的原始视频数据库；步骤S2：根据获得的原始视频数据库，利用开源的姿态估计算法OpenPose提取原始数据库里所有视频样本中的人体骨架，获得骨骼视频数据库；步骤S3：利用FFmpeg工具将获得的骨骼视频数据库中的所有视频样本解帧成骨骼图片流，获得骨骼图片流；步骤S4：将获得的骨骼图片流依次输入3D‑DenseNet网络模型进行训练，获得训练后的3D‑DenseNet网络模型。本发明首次利用人体骨架和3D‑DenseNet进行异常行为检测，检测准确率高，鲁棒性强，能实时输出，更新检测结果。

技术领域

本发明涉及图像检测技术领域，具体地，涉及基于人体骨架的异常行为检测方法、系统及介质。尤其地，涉及一种基于人体骨架和3D-DenseNet网络模型的智能异常行为检测方法。

背景技术

近年来，随着监控系统的大量部署使用，产生了大量的监控视频数据。监控系统的作用是进行目标行为检测及异常行为检测，仅靠人工对视频进行筛选和检测变得愈发困难。因此依靠计算机视觉的方法对监控视频进行分析，从而自动化地检测出监控视频中出现的打架斗殴等一系列危害公共安全的暴力行为，对于维护社会稳定和实现智能安防具有重大意义。

传统的异常行为检测的方法主要依赖于各种手工特征的构造，如运动轨迹特征，光流矢量特征，时空体积特征，局部二值化特征等。这些特征多针对普通的行为识别设计，未针对暴力行为作专门的优化。但是暴力行为的动作比简单的跑、跳等行为要复杂得多。因此此类方法虽然可以取得较高的检测准确率，但是误检率较高，容易将普通的行为误判为暴力行为，且此类方法的实时性和鲁棒性较差，易受噪声的影响

神经网络的出现推动了异常行为检测技术的飞速发展，不需要构造复杂的手工特征，神经网络可以通过构造一层一层的网络，形成一个端到端的系统完成异常行为检测。暴力行为通常为一个连续的动作序列，包含一定的时域信息，因此通常采用的网络结构有3DCNN或是RNN结构(如LSTM)与CNN结构的串并联网络。虽然与传统方法相比，此类方法在识别准确度和鲁棒性上具有巨大优势，但是该类方法通常直接将视频帧输入网络，缺乏背景噪声剔除等预处理，使得网络训练通常需要耗费大量时间。

中国专利公开号为CN109614882A的专利公开了一种“基于人体姿态估计的暴力行为检测系统及方法”，公开日为2019年04月12日。该方法首先将监控视频转化成多帧图像，然后采用姿态估计算法OpenPose估计每帧图像中的人体姿态，再以人体姿态的四肢方向作为神经网络分类器的输入来判断该帧图像中是否存在暴力行为并判断暴力行为的类型。该方法融合了视频的预处理和神经网络分类的技术，但是只将人体四肢的方向作为神经网络的输入，丢弃了原始视频中的大量信息。且单独对每帧图像进行检测，忽略了暴力行为作为一个序列前后帧间的联系和时域信息。

中国专利公开号为CN 109086717A的专利公开了一种“基于人体骨架和运动信号特征的暴力行为检测系统及方法”，公开日为2018年12月25日。该方法首先按一定时间间隔连续提取3帧，然后根据相邻两帧的帧差求取人体骨架关键部位像素的位移向量，提取其中运动的像素，并进行运动区域划分。根据每张图中的运动区域数量和方向对运动类型进行分类。最后计算每个运行类型分类下图片的运动信号的统计量并输入到训练好的SVM模型中进行暴力行为的预测。该方法提出了将人体骨架用于异常行为检测，但是该方法计算人体骨架的方法采用自上而下的“帧差法”。在多人拥挤状态下，时间开销较大且无法较好地区分每个人的骨架，鲁棒性较差。

专利文献CN105516152B(申请号：201510937719.2)公开了一种异常行为检测的方法，该方法通过观察一定时期内主体/个体的行为在社交网络或者普适计算环境中呈现出的特定模式来检测异常。用户可以根据他们各自的社交标签被分为不同的组，他们的行为模式应该与群体的行为模式相似。然后整合个体和群体的行为模式来计算新行为的异常程度。通过监测主体/个体的行为，收集有关多维数组的特性，如时间，地点，频率，总和以及其它多维数组信息。

发明内容