[发明专利]一种基于空间和时序双通道融合模型的人体行为识别方法

说明书

本发明公开了一种基于空间和时序双通道融合模型的人体行为识别方法，构建融合ER3D模型和Space‑TimeTransformer模型的深度学习网络架构，并通过对公开人体行为识别数据集进行端到端的预训练，得到初始化网络，接着读取人体行为训练视频，对训练视频做固定间隔采样和数据增强，将数据增强后的视频帧送入经过预训练的网络架构进行训练，生成人体行为识别模型。在测试阶段，读取测试集中的人体行为视频，对其进行采样和裁剪后送入训练好的识别模型进行识别，整个过程实现端到端的检测视频中的人体行为。本发明根据ER3D模型和Space‑TimeTransformer模型可以分别对视频帧中包含的空间信息和时序信息有效建模的特点，从而构建并训练出一种可以准确识别人体行为的深度学习网络架构。

技术领域

本发明属于行为识别技术领域，具体涉及一种基于空间和时序双通道融合模型的人体行为识别方法。

背景技术

人体行为识别旨在理解人类的行为，主要研究的是从视频图像中判断出目标处于何种行为，并为每个行为分配一个标签，例如常见的走、坐、躺、跑、跳等行为，在计算机视觉中是一个极具吸引力及挑战性的任务。人体行为识别作为一个新兴的前沿研究领域，涉及到模式识别，图像处理，目标检测，深度学习等多门学科，并且它可以广泛应用于许多领域，如：智能监控、信息检索、人机交互等等。

传统的方法采用手动对视频特征提取，然后对提取到的特征进行特征编码，使用相应的分类器进行分类，手工制作特性既耗时又费力，不适用于所有类型的数据集，且难以扩展和部署。随着深度学习的发展，人们尝试让计算机从视频中提取信息，基于深度学习的方法能够从原始数据中自动学习特征，然后将学习到的特征送入模型训练，从而实现对输入视频的高效分类和识别。

但在实际应用中仍然有很多的难点，首先就是行为识别姿态的多样性。每个人穿的衣服不同，不同的相机处于不同的视角拍到的角度也不同，而且每个人动作的时间跨度也不一样，拿物品的方式也不同，此外，遮挡也给行为识别带来了非常大的挑战。关键性行为的界限同样具有不确定性，比如擦嘴和喝水，这两个动作有很强的混淆作用，站在不同的角度会带来许多错误的判断。

发明内容

为了解决现有技术存在的上述问题，更好地对人体行为视频数据中的空间信息和时序信息进行建模，本发明提出了一种基于空间和时序双通道融合模型的人体行为识别方法。该方法构建融合ER3D模型和Space-Time Transformer模型的深度学习网络架构，利用公开数据集进行预训练，对训练视频做固定间隔采样和数据增强，将数据增强后的视频帧送入经过预训练的网络架构进行训练，生成人体行为识别模型。融合模型能够以较高的准确率对视频中的人体行为进行识别分类，且整个过程实现端到端的检测视频中的人体行为。

本发明所采用的具体技术方案如下：

一种基于空间和时序双通道融合模型的人体行为识别方法，主要包括以下步骤：

步骤1、搭建空间和时序双通道融合模型；

步骤2、读取人体行为数据训练集中的视频数据；

步骤3、针对所述步骤2读取的视频数据进行固定间隔采样与数据增强操作，得到视频帧序列；

步骤4、将所述步骤3中得到的视频帧序列输入到已通过预训练的空间和时序双通道融合模型中，进行模型训练；

步骤5、读取测试数据集中的人体行为视频数据；

步骤6、将所述步骤5读取的视频数据进行采样、裁剪，得到视频帧序列；

步骤7、将所述步骤6得到的5组视频帧序列依次作为所述步骤4训练完成后模型的输入，平均每次预测的结果得到测试视频中人体行为的所属类别。

进一步地，所述步骤1搭建的空间和时序双通道融合模型由ER3D模型和Space-Time Transformer模型共同组成；