[发明专利]一种多目标的行为识别方法及系统

权利要求书

1.一种多目标的行为识别方法，其特征在于，包括以下步骤：

S1、对视频帧进行目标检测，输出每一帧中全部目标的目标位置；

S2、对视频帧中的目标进行跟踪，获得视频帧的目标信息；

S3、抽取视频帧，对目标信息进行单目标位置并集运算，得到每个目标在不同视频帧中的共同位置，进一步获得每个目标的视频序列；

S4、建立行为识别网络模型，根据每个目标的视频序列，对目标的行为进行识别，输出目标的行为识别结果。

2.根据权利要求1所述的行为识别方法，其特征在于，步骤S3包括：

步骤S31、维护一个长度为一固定值m的数据队列，该数据队列从步骤S2获取视频帧的目标信息；从该数据队列中抽取一固定数量n的视频帧的目标信息，其中n＜m；

步骤S32、将所抽取的n个视频帧的目标信息进行单目标位置并集运算，获得每个目标在不同视频帧中的共同位置；

步骤S33、根据每个目标的共同位置，拷贝n个视频帧中对应位置的图片数据组成每个目标的视频序列。

3.根据权利要求2所述的行为识别方法，其特征在于，步骤S31从m个视频帧中抽取其中的n个，采用前面少取、后面多取的策略，或采用等间隔抽取的策略，或采用前面多取、后面少取的策略。

4.根据权利要求1所述的行为识别方法，其特征在于，步骤S4包括：

将每个目标视频序列的n个视频帧图像分别输入到n个主干网络中，分别进行2D-CNN视频帧空间特征提取，其中n个主干网络共享权值；

提取视频帧的空间特征后，对n个视频帧的空间特征进行时间轴拼接，达到空间特征融合的目的；空间特征融合后得到的特征，通过PCM-ResNet网络进行时空特征学习与提取。

5.根据权利要求4所述的行为识别方法，其特征在于，步骤S4还包括：

时空特征提取得到相应的特征后，依次进行全局平均池化、全连接层和Softmax函数操作，最后得到视频中目标的行为类别。