[发明专利]一种基于3D关节点序列的人体行为识别方法

权利要求书

1.一种基于3D关节点序列的人体行为识别方法，其特征在于，对给定的人体运动序列，包括以下步骤：

步骤1、提取基于运动引导的关节点帧内偏移和帧间偏移；

步骤2、通过偏移特征集合的聚类中心将其转换为由视觉单词组成的码本，并聚集所有的码本与偏移向量的差获得一个高维的特征向量；

步骤3、基于融合特征分析模型的监督哈希映射生成哈希编码，并采用K最近邻进行分类；

其中，步骤1具体为：

定义是N个动作序列的训练集，l_n是第n个动作序列的标签，是第n个动作序列所有帧的3D位置的集合，即：

其中，i，j分别代表关节点数和帧数，表示第j帧的第i个关节点的3D位置，J_n表示第n个动作序列的总帧数；

根据人体的运动结构，将人体分为五部分：左右臂、左右腿和躯干，分别计算每一部分关节点帧间的偏移；通过计算第t帧与第t-τ帧的关节点位置偏移信息获取动作序列的帧间偏移特征：

选择一些主要的关节点之间的偏移特征减小特征的冗余，从而减小特征维度；所以通过计算头、脊椎、左臀、右臀四个基点与人体运动中起主要作用的关节点的关系，生成四种帧内的偏移特征；通过计算帧内不同关节点的位置偏移信息获取动作序列的帧内偏移特征：

所以九个偏移特征表示为：

2.如权利要求1所述的基于3D关节点序列的人体行为识别方法，其特征在于，步骤2具体为：基于局部聚合的人体运动行为特征表示：对九个偏移特征中的每一个特征，用Ω_s表示这些特征的集合，即：

并对Ω_s利用K-均值聚类算法，生成K个子集和相应的聚类中心，即：

其中，T表示K-均值聚类的次数，第n个训练样本的一个特征表示的组成部分就通过将所有的偏移向量和相应的最近聚类中心的差值相加来获得，即：

这样，第n个训练样本的特征表示就通过连接向量集合来获得，表示形式为：

3.如权利要求1所述的基于3D关节点序列的人体行为识别方法，其特征在于，步骤3具体为：采用融合特征分析模型的监督哈希映射作为行为特征表示，设学习训练样本的哈希编码，即B＝[b₁,…,b_N]∈{-1,1}^L×N，其中，L是汉明空间中哈希编码的长度，哈希函数定义为W为投影矩阵；

在目标函数中加入分类误差项；对样本Y＝[y₁,y₂,…,y_N]使用了稀疏约束，从而提出了融合特征分析模型的监督哈希映射，如下所示：

其中，是训练样本标签矩阵，C是类别数，是第n个样本的标签向量，它的第c个元素是1，其它元素是0；是分类矩阵，Y_[c]是类别c的训练样本集合，T是分析字典，第三项采用了同类训练样本的组稀疏约束，λ₁0和λ₂0是正则参数；

使用的分类方法为K最近邻分类法，即如果一个测试样本在特征空间中的K个最相邻的训练样本中的大多数属于某一个类别，则该测试样本也属于这个类别。