[发明专利]基于运动历史点云生成的时空分布图的人体行为识别方法

说明书

一种基于运动历史点云生成的时空分布图的人体行为识别方法。其包括生成MHPC；生成STDM；提取颜色矩特征向量；提取LBP特征向量；训练和测试KELM分类器，最后将输出结果采用决策层融合后得到人体动作类型标签等步骤。本发明能够获得人体动作不同视角下的信息，增加了对动作角度变化的鲁棒性。用时空分布图来表示人体动作要比深度图像更加全面，提取的特征也更加有区别力；提取的颜色矩特征和LBP特征能够有效地表征人体动作类别，解决了利用点云提取特征复杂的问题。利用决策层融合进行分类，能够避免特征层融合不兼容和高维度的缺点。

技术领域

本发明属于计算机视觉和图像处理技术领域，具体涉及一种基于运动历史点云(Motion History Point Cloud，MHPC)生成的时空分布图(Spatio-temporalDistribution Map，STDM)的人体行为识别方法。

背景技术

人体行为识别在智能视频监控、视频内容检索、人体运动分析、辅助医疗等领域有着广泛的应用，国内外的专家学者对此进行了大量的研究。最初行为识别的方法大多是基于传统的RGB信息，产生了人体关键姿态、剪影、时空特征等方法。但是由于RGB信息易受光照、相机角度、背景变化等因素的影响，使得行为识别仍然面临着挑战。近些年来随着深度传感器的发展，使得深度图像获取技术得到普及。相比于彩色图像，深度图像仅与物体的空间位置有关，能够直接反映物体表面的三维特征，并且不易受光照变化、颜色和纹理的影响。利用深度图像的人体行为识别方法大致包括，将深度图像进行投影生成深度运动图像(Depth motion map,DMM)的方法、将深度图像映射为点云数据后提取特征的方法。

将一个深度图像序列中的每一帧深度图像投影到三个正交的笛卡尔坐标平面上，可相应地得到前视图map_f，侧视图map_s，俯视图map_t。将上述得到的三个投影视图序列的相邻帧进行差分运算，然后取绝对值累加，可得到深度运动图像(DMM)。虽然DMM计算简单，但是只包含三个视觉下的动作信息，不能方便地获得其他视角下的动作信息。动作的空间和时间信息对动作识别有重要的影响，但是DMM捕获的只是运动过程中动作的空间能量分布，缺少动作的时间能量分布。将深度图像映射为点云数据进行人体行为识别的方法，由于得到的点云数据量庞大，会给提取点云特征带来极大的困难。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于运动历史点云生成的时空分布图的人体行为识别方法。

为了达到上述目的，本发明提供的基于运动历史点云生成的时空分布图的人体行为识别方法包括按顺序进行的下列步骤：

(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到MHPC中，直到遍历完所有帧的深度图像得到该动作的MHPC，以记录动作发生的空间与时间信息；

(2)将MHPC直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个STDM，然后将MHPC左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个STDM；

(3)从上述人体动作样本的所有STDM中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；

(4)从上述人体动作样本的所有STDM中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；

(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到上述两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。