[发明专利]一种基于3D时间流和并行空间流的双流卷积行为识别方法

说明书

本发明公开了一种基于3D时间流和并行空间流的双流卷积行为识别方法，包括如下步骤：首先对于输入视频，进行光流块提取；其次对输入视频进行分段，抽取视频帧，并剪裁出人体部分；然后将光流块输入3D卷积神经网络，将剪裁帧输入并行空间流卷积网络；最后将并行空间流的分类结果进行融合，并与时间流得分进行拼接形成全连接层，最后经过输出层输出识别结果。本发明利用人体部分剪裁以及并行的空间流网络进行单帧识别，在空间上提高了单帧的识别准确率，同时利用3D卷积神经网络进行光流的动作特征提取，提高了时间流部分的识别准确率，并利用最后的单层神经网络结合空间外观特征和时间动作特征进行决策融合，提高了整体的识别效果。

技术领域

本发明涉及一种人体行为识别技术领域，特别涉及一种基于3D时间流和并行空间流的双流卷积行为识别方法。

背景技术

随着互联网多媒体的发展，特别是5G技术的快速商用，大规模的摄像头每时每刻都有大量的视频产生并传输，这对于公共安全监控会产生巨大的压力。为了应对信息爆炸，对视频进行分析处理是十分必要且迫在眉睫的。视频中的人体行为识别是计算机视觉领域的一个重要分支，对于公共安全分析和智慧城市建设至关重要。

视频行为识别算法在2012年卷积神经网络提出之前，以传统算法为主，其中取得效果最好的是改进稠密光流法，这种算法需要手工提取特征，识别率高，但计算复杂，效率低。自深度学习应用于该领域之后，计算高效的卷积神经网络进入大家的视野。双流卷积神经网络是这些模型中较为有效的模型，它将RGB图像和光流图像分开处理，使用同样结构的网络模型，最后通过融合两个网络的结果进行预测。但是该方法需要预先提取光流，故光流图像的存储和计算成本过高，且准确率不足以应用于实际场景，对于特征信息的提取有待提高。此外，视频场景中的光照强度、复杂场景等因素，也在一定程度上影响着模型的准确率。

发明内容

为解决上述技术问题，本发明提供了一种基于3D时间流和并行空间流的双流卷积行为识别方法，以达到提取更多表征信息，增加时间流计算效率，提高预测准确率的目的。

为达到上述目的，本发明的技术方案如下：

一种基于3D时间流和并行空间流的双流卷积行为识别方法，包括如下步骤：

(1)对于输入视频，随机抽取多个正序视频帧，进行光流提取，形成多个光流块；同时对原始输入视频进行分段，在每个视频段中进行单视频帧抽取，并对所抽取的多个单视频帧进行人体部分剪裁，获得剪裁帧；

(2)将提取的光流块输入3D时间流卷积神经网络，同时将获得的剪裁帧分别单帧输入并行空间流卷积网络，对两路网络分别进行训练，得到3D时间流卷积神经网络判别模型和并行空间流卷积网络判别模型，分别输出各模型对视频中动作的得分；

(3)将并行空间流卷积网络判别模型的得分结果进行融合；

(4)将并行空间流卷积网络的融合结果和3D时间流卷积神经网络判别模型的得分结果进行拼接形成一个全连接层，输入单层神经网络进行训练，得到一个决策模型，最后对整体模型进行训练调整，得到最终模型；

(5)最后将原始视频通过步骤(1)至步骤(4)输入训练好的模型，获得最终行为识别结果。

上述方案中，步骤(1)中，对输入视频随机选取8帧视频帧，并对这8帧图片分别进行双向光流提取，按序堆叠，得到8个拥有8帧光流图的光流块，光流提取计算方式如下：

其中，

u＝[1:w],v＝[1:h],k＝[-L+1:L].

p₁＝(u,v),p_k＝p_k-1+d_τ+k-2(p_k-1),k＞1.