[发明专利]一种多目标的行为识别方法及系统

说明书

本发明涉及计算机视觉技术，为多目标的行为识别方法及系统，其方法包括以下步骤：对视频帧进行目标检测，输出每一帧中全部目标的目标位置；对视频帧中的目标进行跟踪，获得视频帧的目标信息；抽取视频帧，对目标信息进行单目标位置并集运算，得到每个目标在不同视频帧中的共同位置，获得每个目标的视频序列；建立行为识别网络模型，根据每个目标的视频序列，对目标的行为进行识别，输出行为识别结果。本发明基于2D卷积神经网络的时空特征建模，模型参数少、计算量小，能够实现实时的目标行为检测、跟踪、行为识别。

技术领域

本发明涉及计算机视觉技术，为一种多目标的行为识别方法及系统，可用于行政大厅、车辆驾驶室、教室等场所异常行为识别。

背景技术

行为识别，是指从给定的视频序列中分析出目标行为类别的技术，是计算机视觉中一个重要且又极具挑战性的研究热点，该技术可广泛应用于视频监控、智能家居、人机交互等领域。

行为识别发展至今，取得了很大的进展，各类行为识别算法层出不穷，但就整体应用而言，并不成熟，其难点主要体现在以下几个方面：(1).动作类间的界限模糊，动作类内变化大等因素，导致识别率低，误检率高；(2).易受遮挡、场景、摄像机移动、视角和光照变化等环境变化的影响；(3).异常行为数据难获取，标注难度大；(4).复杂动作识别有待突破。行为识别技术的关键在于时空特征建模与提取，特征提取过程受到以上方面的影响而具有很大的挑战性。

目前，常见的行为识别方法有：基于3D卷积的行为识别方法、基于LSTM网络的行为识别方法、基于光流法(或双流法)的行为识别方法、基于骨架的行为识别方法等。基于LSTM网络的行为识别方法对于时空特征建模能力较弱，导致行为识别精度差；基于光流法的行为识别方法虽然精度高，但识别速度慢，实际应用中难以做到实时；基于3D卷积的行为识别方法识别精度高，但3D卷积计算耗时；而基于骨架的行为识别方法，骨架提取环节耗时，还需结合传统的LSTM、CNN、SVM等方法，导致误差累积，整体精度不高。最近，比较火热的基于GCN(图卷积网络)的行为识别方法，精度虽高，但实际应用时存在推理速度慢等问题，还有待进一步研究。

从实际应用的角度讲，行为识别技术存在精度低、速度慢等缺点。尽管存在一些较为先进的行为识别方法，如：基于3D-CNN网络的行为识别方法、基于双流法的行为识别方法等，可以达到实时应用的效果，但受限于行为识别系统中的其他模块，整体识别效率依然是瓶颈。

发明内容

为解决现有技术所存在的技术问题，本发明提出一种多目标的行为识别方法及系统，基于2D卷积神经网络的时空特征建模，模型参数少、计算量小，能够实现实时的目标行为检测、跟踪、行为识别。

本发明识别方法采用以下技术方案来实现：多目标的行为识别方法，包括以下步骤：

S1、对视频帧进行目标检测，输出每一帧中全部目标的目标位置；

S2、对视频帧中的目标进行跟踪，获得视频帧的目标信息；

S3、抽取视频帧，对目标信息进行单目标位置并集运算，得到每个目标在不同视频帧中的共同位置，进一步获得每个目标的视频序列；

S4、建立行为识别网络模型，根据每个目标的视频序列，对目标的行为进行识别，输出目标的行为识别结果。

在本发明的一个实施例中，上述行为识别方法的步骤S3包括：

步骤S31、维护一个长度为一固定值m的数据队列，该数据队列从步骤S2获取视频帧的目标信息；从该数据队列中抽取一固定数量n的视频帧的目标信息，其中n＜m；

步骤S32、将所抽取的n个视频帧的目标信息进行单目标位置并集运算，获得每个目标在不同视频帧中的共同位置；

步骤S33、根据每个目标的共同位置，拷贝n个视频帧中对应位置的图片数据组成每个目标的视频序列；