[发明专利]基于循环卷积神经网络的人体动作识别方法

说明书

本发明公开了一种基于循环卷积神经网络的人体动作识别方法，属于图像分类、模式识别与机器学习领域，解决因动作类别内部以及类别之间的变化或视频是由连续帧组成会造成人体动作识别精度低等问题。本发明构建数据集，即从公开数据集中随机选择长度相同的序列对，各序列中的每帧包括RGB图像和光流图像；构建孪生网络，孪生网络中的各网络依次包括CNN层、RNN层和Temporal Pooling层；构建“识别‑验证”联合损失函数；基于数据集训练构建好的深度卷积神经网络和“识别‑验证”联合损失函数；基于待识别的人体动作序列对，依次经过训练好的深度卷积神经网络和训练好的“识别‑验证”联合损失函数，得到序列对的动作类别识别结果。本发明用于图像中的人体动作识别。

技术领域

一种基于循环卷积神经网络的人体动作识别方法，用于图像中的人体动作识别，属于图像分类、模式识别与机器学习领域。

背景技术

人体动作识别是计算机视觉与机器学习领域的热点和前沿研究主题之一，在智能视频监控、智能人机交互、基于内容的视频分析等方面有着广泛的应用前景。

基于视频的人体动作识别要解决的主要问题是通过计算机对传感器(摄像机)采集的原始图像或图像序列数据进行处理和分析，学习并理解其中人的动作和行为。人体动作识别主要包含以下三个步骤：首先是从图像帧中检测表观和运动信息并提取底层特征；然后对行为模式或者动作进行建模；最后是将提取的底层特征与动作行为类别等高层语义信息之间的对应关系，实现对人体动作的分类和识别。尽管近年来国内外人体动作行为识别的研究取得了重要进展，但人体运动的高复杂性和多变化性使得识别的精确性和高效性并没有完全满足相关行业的实用要求。现有技术中的人体动作识别方法存在如下不足之处：(1)动作类型内部以及类型之间的变化。对于同一动作类别，由于人体尺度的变化，即使是同一个人做同一个动作，在视频中的表现也不一样。此外，由于动作类别之间的相似性，也会使得不同动作类别在视频中表现出一定的相似性。如何衡量动作之间的差异性是实现动作分类的关键挑战；(2)由于视频是由连续帧组成，即表征了人体动作的连续性，基于单帧图像的表观信息忽略了动作本身的运动信息，严重影像了动作识别的精度，如何利用帧与帧之间的时序信息实现对人体动作的有效识别是目前面临的又一挑战。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于循环卷积神经网络的人体动作识别方法，解决现有技术中，因动作类别内部以及类别之间的变化或视频是由连续帧组成会造成人体动作识别精度低等问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于循环卷积神经网络的人体动作识别方法，包括如下步骤：

S1、构建数据集，即从公开数据集中随机选择长度相同的序列对，各序列中的每帧包括RGB图像和光流图像；

S2、构建深度卷积神经网络，即构建孪生网络，孪生网络中的各网络依次包括CNN层、RNN层和Temporal Pooling层，其中，CNN层是指卷积神经网络层，RNN层是指循环神经网络层，Temporal Pooling层是指时序池化层；

S3、构建深度卷积神经网络后，构建“识别-验证”联合损失函数；

S4、基于数据集训练构建好的深度卷积神经网络和“识别-验证”联合损失函数，得到训练好的深度卷积神经网络和训练好的“识别-验证”联合损失函数；

S5、基于待识别的人体动作序列对的RGB图像和光流图像，依次经过训练好的深度卷积神经网络和训练好的“识别-验证”联合损失函数，得到序列对的动作类别相似度识别结果。

进一步，所述步骤S1中的公开数据集为UCF101-split1数据集、HMDB51数据集、UCFSPORT数据集或UCF11数据集，其中，序列对中的两动作片段是来自同一动作类别或来自不同动作类别。