[发明专利]基于四元数时空卷积神经网络的人体行为识别方法

说明书

本发明属于计算机视觉领域，具体涉及一种基于四元数时空卷积神经的人体行为识别方法。本发明具体实现步骤如下：（1）输入待识别的动作视频集；（2）图像预处理，提取人体运动的关键区域图像；（3）构建四元数时空卷积神经网络；（4）采用BP算法训练网络，输出训练结果；（5）输入视频测试集，输出测试结果。本发明利用码本模型提取人体运动区域图像，能够在复杂背景的情况下，检测出人体的运动。本发明的四元数时空卷积神经网络直接将彩色图像作为输入，解决了传统卷积神经网络将彩色图像转换为灰度图像或分通道处理过程中图像特征缺失的问题，提高了网络特征提取的性能，使得对人体行为的识别更加准确。

技术领域

本发明属于计算机视觉领域，更进一步涉及目标识别中基于四元数时空卷积神经网络的人体行为识别方法，本发明可用于人机交互、智能监控等应用中。

背景技术

人体行为识别是计算机视觉、模式识别、图像处理以及人工智能等多学科交叉的一个重要研究方向，它在人机交互、智能监控和医疗领域均有着巨大的应用价值和理论意义。它主要针对包含人的运动图像序列进行分析处理，特征提取，运动分类，实现识别和理解人的个体动作、人与人之间的以及人与外界环境之间的交互行为。

相对基于静止图像的目标分类，人体行为识别是一个复杂的动态过程，它不仅包含视频中单帧图像的空间特征，还包含多帧之间的时间特征。所以，有效提取视频中人体的行为特征是非常具有挑战性的课题。近年来，人体行为方法主要分为两类：基于人工特征提取的人体行为识别和基于深度学习的人体行为识别。基于人工特征提取的人体行为识别方法的步骤为特征提取、特征表达和动作分类，其中人工提取的特征包含光流直方图、梯度直方图和时空兴趣点等。然而，这种方法对于不同视频数据集需要提取不同的特征，计算复杂度高，在现实环境下的应用存在局限性。

有人提出了基于深度学习的人体行为识别方法。这种方法是通过逐层参数训练的方式自动提取原始图像中的特征，从而获得能够区分不同动作的多种高层抽象表达。卷积神经网络是人体行为识别中应用最广泛、最有效的深度学习算法之一。传统的卷积神经网络已经被扩展到时空卷积神经网络，它不仅能够提取单帧的空间特征，还能提取近邻帧的时间特征。然而，目前的卷积神经网络模型只是针对灰度图像序列或RGB三通道分别处理的，没有考虑三通道的相关性和整体性，破坏了真实环境的颜色特征，影响识别方法在实际环境中的鲁棒性。

发明内容

针对上述问题，本发明提出一种基于四元数时空卷积神经网络的人体行为识别方法。与现有技术中其他基于卷积神经网络的人体动作识别方法相比，本发明将彩色图像序列直接作为网络的输入，在空间卷积层将R、G、B三个通道作为一个整体进行卷积操作，保证了它们的相互联系，并在时间卷积层提取连续帧间的动态信息，使得提取的特征信息更加丰富，识别率更高。

为实现上述目的，本发明采用以下方案：

一种基于四元数时空卷积神经网络的人体行为识别方法，所述方法具体为：

(1)构建四元数时空卷积神经网络；

(2)将包含多种人体动作的F组彩色图像表示为四元数的形式，将其中f组彩色图像作为训练集，将训练集作为训练样本输入所述四元数时空卷积神经网络，并利用BP算法训练训练集样本，得到训练好的四元数时空卷积神经网络；

(3)将其他F-f组彩色图像作为样本输入训练好的四元数时空卷积神经网络，利用训练好的四元数时空卷积神经网络将彩色图像分类，实现人体行为识别；

所述四元数时空卷积神经网络包括空间卷积层、时间卷积层、下采样层、全连接层、长短时记忆单元和分类器；样本经空间卷积层、时间卷积层、下采样层循环P次得到样本的特征图序列，全连接层将序列中每一个特征图都拉伸成一个特征向量，长短时记忆单元将特征向量输送至分类器，分类器依据特征向量将样本分类；

所述四元数时空卷积神经网络包括3P+1层结构；

F、f、P均为自然数。