[发明专利]一种基于视频的打架斗殴检测方法

说明书

一种基于视频的打架斗殴检测方法，基于目标检测方法对视频中的人体目标进行有效检测，而后利用骨架提取算法提取人体骨架关键点信息，包括连续多帧的每个人体的骨架关键点2D坐标信息，构建成骨架序列，并在骨架序列上构建时空卷积图，同时将时空卷积图输入已训练好的多层时空卷积网络（st‑gcn）进行动作识别；利用本方法可精准识别打架斗殴等动作行为，可广泛应用于车站、机场、超市、商业街区、运动场等重要公众场合，实现实时预警。

技术领域

本发明涉及视频智能监控技术领域，尤其涉及一种基于视频的打架斗殴检测方法。

背景技术

打架斗殴属违法乱纪行为，对社会稳定及人民生活带来负面的影响，而对于打架斗殴事件，目前基本以事后通知报警为主，很难在第一时间获得报警，这为后续的查处带来困难。随着天网工程的全面应用、日趋完善，基于视频分析的打架斗殴检测技术逐步发展起来。

目前采用的技术1：利用二维图像配准方法，计算视频相邻帧的像素运动矢量，对人体的运动矢量进行统计分析或转换成能量的形式，提取出运动方向混乱以及快速运动的像素点，这些像素集合作为剧烈运动区域，构成多人打架斗殴的基本特征；通过对剧烈运动区域的时空分布分析，建立基于运动场的打架斗殴规则，判断剧烈运动区域是否产生于打架斗殴事件，实现对此类人体异常行为的检测。基于此类技术的专利有：一种人群剧烈运动的检测方法及装置、专利号：200910242555.6和音视频联合分析的打架斗殴检测系统、专利号：200920291779.1，此类技术的缺陷：对视频邻近帧的运动矢量计算均采用基于灰度特征的微分光流方法，得到一个二维图像上像素位置偏移量，而基于灰度特征的光流方法有很多缺陷都限制了此类技术的推广，例如它受光照环境的变化影响很大，场景的光照变化会导致目标真实运动场计算错误，无法计算目标遮挡时的运动场；由于三维场景下目标距离相机远近不同时其反应在二维平面上的运动矢量不同，因此传统方法对剧烈运动的判定不够鲁棒；

技术2：采用立体视觉与运动场提取结合的方法，减少与过滤光照变化、目标运动混乱与交错遮挡导致的光流计算错误，提升人体打架斗殴行为检测在复杂环境下的鲁棒性，基于此技术的专利有：一种基于立体视觉运动场分析的打架斗殴检测方法、专利号：201210304084.9，此类技术的缺陷：采用立体视觉与运动场提取结合的方法，在场景复杂的情况下，不能够将人体目标位置准确地检测出来，并且对于奔跑等剧烈运动会产生较大的误报。

发明内容

本发明所解决的技术问题在于提供一种基于视频的打架斗殴检测方法，以解决上述背景技术中的问题。

本发明所解决的技术问题采用以下技术方案来实现：

一种基于视频的打架斗殴检测方法，具体步骤如下：

（1）训练打架斗殴模型

1）采集足够数量的打架斗殴视频片段样本和日常行为样本；

2）利用Alphapose或者Openpose作为骨架关键点提取算法，对步骤1）中的打架斗殴视频片段样本和日常行为样本提取连续多帧的每个人体骨架关键点2D坐标，构建成打架斗殴骨架序列和日常行为骨架序列，并按照Openpose格式将保存在本地文件中；

3）将步骤2）中的打架斗殴骨架序列和日常行为骨架序列文件数据构建时空图，输入至多层时空卷积网络，采用st-gcn算法训练方法进行分类训练，逐渐生成高级特征图；

4）将步骤3）训练迭代若干次之后生成模型文件，构建打架斗殴模型；

（2）检测识别打架斗殴视频

a）获取视频流：对实时视频流/本地视频文件进行解码、图像转换，得到可进行计算的RGB图像数据；