[发明专利]一种复杂场景下实时视频多人行为识别方法及系统

说明书

本发明涉及一种复杂场景下实时视频多人行为识别方法及系统，属于机器视觉技术领域。该方法包括：采集视频数据；建立场景人脸标签库，用于人脸识别模型训练；构建轻量化SlowFast模型用于复杂场景多人行为识别；建立不同人员类别异常行为动作标签库，建立训练行为动作标签库；将训练数据集经过预处理之后，输入到构建的轻量化SlowFast网络中进行训练；利用人脸识别模型和轻量化SlowFast网络模型进行实际场景行为动作检测、识别。本发明通过人脸识别，确定人员类别身份，建立人脸检测框与人员位置定位框的关联关系，对场景中目标人员的行为动作进行检测和识别，以实现在复杂场景中不同类别人员异常行为的监测和预警。

技术领域

本发明属于机器视觉技术领域，涉及一种轻量化深度学习网络的复杂场景下实时视频多人行为识别方法及系统。

背景技术

目前，公共场所的监管通常都依赖于视频监控技术。由于传统的视频监控技术，只能起到监控和存储录像的功能，当出现公共场所出现纠纷，或者不当行为时，只能根据时间范围进行视频监控的调取和查阅。而引入复杂场景实时视频多人行为识别方法和装置，能实时监控复杂场景下人们的行为，并进行预警，以便公共场所管理人员对异常情况进行及时处理，从而保证公共场所的次序、安全，具有较为深远的现实意义和应用价值。同时，对依赖于时序和空间信息的视频等数据进行动作识别也是计算机视觉领域的研究重点之一，包括了对视频动作行为分类和人的定位和识别两大任务，现有的动作识别方法主要可分为三类：基于双流的方法、基于3D卷积神经网络的方法和基于姿态骨骼检测的方法。

基于双流的算法依赖于利用图像的光流信息来表征运动的轨迹。而光流采用像素级的运动向量表示，其计算开销大，导致基于光流的模型速度相对较慢，无法满足系统实时性要求，同时由于光流信息需要单独计算，无法实现端到端系统，因此模型在训练和检测过程相对复杂，用于实时系统的能力较差。

基于卷积的方法能够利用3D卷积操作同时获取时间和空间特征，并进行端到端的学习和预测。但是当网络较深时，3D卷积含有大量的参数，其占用资源开销巨大，不利于大范围部署到实际生产环境中。

基于姿态骨骼检测的方法首先姿态估计的方法获取人体关节点等先验知识，再做后续处理得到最终的预测结果。这样同样无法实现端到端的训练和检测，此外，动作识别模块的最终结果依赖于姿态估计的先验知识，容易导致添加额外的误差，影响最终的精度。

因此，亟需一种能提高复杂场景下实时视频多人行为识别的检测方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于轻量化3D卷积神经网络模型，用于复杂场景下实时视频多人行为识别的检测，解决3D卷积神经网络参数量大不易嵌入到实际生成环境中的问题，有效减少3D卷积网络的参数量和模型大小，提高行为检测识别的实时性。从而能在实际生成环境中运用，提高复杂场景下人们行为动作的智能监管水平，为公共场所的次序和安全提供有效保障。

为达到上述目的，本发明提供如下技术方案：

1、一种复杂场景下实时视频多人行为识别方法，基于Slowfast框架，对3D-ResNet50主干网络进行改进，采用轻量级的3D-ShuffleNetV2主干网络进行替换，称为ShuffleNetV2_SlowFast网络。从而解决基于3D卷积神经网络计算开销大，参数量多的问题，对视频中多人行为进行识别和定位。该方法具体包括以下步骤：

S1：利用采集设备捕获场景中人的视频帧；

S2：建立场景人脸标签库，对现有人脸识别模型进行训练；

S3：构建轻量化SlowFast网络，用于复杂场景多人行为识别；

S4：根据不同场景中不同人员类别身份，建立不同人员类别异常行为动作标签库和训练行为动作标签库；