[发明专利]基于运动历史点云生成的时空分布图的人体行为识别方法

权利要求书

1.一种基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：所述的方法包括按顺序进行的下列步骤：

(1)将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到运动历史点云中，直到遍历完所有帧的深度图像得到该动作的运动历史点云，以记录动作发生的空间与时间信息；

(2)将运动历史点云直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个时空分布图STDM，然后将运动历史点云左右各旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个时空分布图；

(3)从上述人体动作样本的所有时空分布图中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维；

(4)从上述人体动作样本的所有时空分布图中提取出LBP特征向量，并进行串联而组合成该人体动作样本的LBP特征向量，然后采用PCA技术进行降维；

(5)选取所有人体动作样本中的部分样本为训练样本，剩余样本为测试样本，将训练样本的颜色矩特征向量和LBP特征向量分别输入到两个KELM分类器中进行训练，将测试样本得到的上述两种特征向量分别输入到两个已训练好的KELM分类器中进行测试，最后将输出结果采用决策层融合后得到人体动作类型标签。

2.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(1)中，所述的将每个人体动作样本中已经提取前景的多帧深度图像通过坐标映射得到每帧深度图像的点云，然后将其填充到运动历史点云中，直到遍历完所有帧的深度图像得到该动作的运动历史点云的方法是：将一个人体动作序列作为一个人体动作样本，每个人体动作样本中包含N帧深度图像，将该人体动作样本中已经提取前景的深度图像从图像坐标系映射到相机坐标系得到各自的点云，运动历史点云是由每帧深度图像得到的点云填充而生成。

3.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(2)中，所述的将运动历史点云直接投影到三个正交的笛卡尔坐标平面，分别是XOY平面、YOZ平面和XOZ平面，生成三个时空分布图，然后将运动历史点云左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个时空分布图的方法是：在生成时空分布图的过程中需将x，y，z坐标值进行归一化为某固定值后作为时空分布图的坐标值；首先将运动历史点云投影到笛卡尔坐标XOY平面上，根据投影后同一坐标下重叠点的分布情况，生成RGB图像时空分布图，其R通道是在当前坐标系下z坐标值不同点的个数，G通道是相邻点的z坐标值进行差分运算并取绝对值叠加，B通道是相邻点的帧号进行差分运算并取绝对值叠加；将运动历史点云投影到YOZ平面和XOZ平面上生成时空分布图的过程类似，只需将上述z坐标值相应地变成x坐标值和y坐标值即可,由此依次得到STDM_f、STDM_s、STDM_t；然后利用旋转公式将运动历史点云绕Y轴左右旋转θ度至少一次并投影到笛卡尔坐标系的XOY平面，生成至少两个时空分布图。

4.根据权利要求1所述的基于运动历史点云生成的时空分布图的人体行为识别方法，其特征在于：在步骤(3)中，所述的从上述人体动作样本的所有时空分布图中提取出颜色矩特征向量，并进行串联而组合成该人体动作样本的颜色矩特征向量，然后采用PCA技术进行降维的方法是：先将时空分布图分成若干网格，然后计算每一个网格的9维直方图向量，然后将所有网格的9维直方图向量串联起来构成该时空分布图的颜色矩特征向量，最后将每个时空分布图的颜色矩特征向量进行串联作为该人体样本的颜色矩特征向量；采用PCA进行降维时保存80％-95％的主成分分量。