[发明专利]基于3D点云与关键骨骼节点的行为识别

摘要

本发明涉及一种基于3D点云与关键骨骼节点的行为识别系统。具体来说：从深度图中提取3D点云序列，然后将3D点云序列均匀分割成N个互不重叠的时空单元，计算每个时空单元的局部位置模型(LPP)，计算局部位置模型统计偏差描述子(SDLPP)。此外，利用节点运动量算法从3D骨骼节点中提取关键骨骼节点子集，计算关键骨骼节点的3D节点位置特征以及在对应深度图中的局部占用模型(LOP)。最后，级联上述三种异构特征，利用随机确定森林挖掘可区分性特征，进行分类，识别行为。本发明提取了人体行为的3D局部几何特征和动态时间特征，对涉及人与物体交互的复杂人体行为识别率高，适宜用于复杂的人体行为识别。

主权项

1.一种基于3D点云以及关键骨骼节点的行为识别方法，其特征在于，包括如下步骤：(一)基于3D点云的局部位置占用模型统计偏差，即SDLPP特征提取：(1)从深度图序列中提取3D点云序列；(2)将3D点云序列均匀分割成N个互不重叠的时空单元；(3)计算每个时空单元的局部位置模型，即LPP；(4)计算每两个相邻单元的LPP在时间方向上的偏差，提取SDLPP描述子；(二)基于关键骨骼节点的3D节点位置特征与深度局部占用特征：(1)利用节点运动量算法从3D骨骼节点中提取关键骨骼节点子集；(2)计算关键骨骼节点的3D节点位置特征；(3)计算关键骨骼节点在对应深度图中的局部占用模型，即LOP；(三)随机确定森林分类器：利用步骤(一)、(二)所述方法提取SDLPP、3D节点位置、LOP特征，级联三种异质特征，采用随机确定森林挖掘可区分性特征，分类行为；在步骤(一)中，局部位置占用模型统计偏差，即SDLPP描述子的提取过程为：从深度序列中提取3D点云序列，将3D点云序列P＝{P₁,P₂,…,P_t,…,P_n}均匀划分成N＝(n_x×n_y×n_t)个互不重叠的时空单元，每个单元的大小为(S_x×S_y×S_t)；对于每个时空单元φ_i，先计算LPP，级联每一帧落入此单元的像素点的位置坐标，然后分别沿X、Y方向进行均值归一化，得到一个(1×1×3)的特征向量描述此时空单元的平均深度占用情况；接下来，将每个单元的特征向量按时间顺序串联，沿T方向再一次归一化，得到视频的全局描述子F_xyt：F_xyt＝δ(q₁∪q₂∪......q_N)q_N表示落入时空单元的像素点位置，δ(·)是沿X,Y以及T方向的立方均值归一化；最后，计算两个相邻时空单元φ_i与φ_i+1的F_xyt偏差，运用归一化函数得到最后的局部位置占用模型统计偏差描述子G_i，特征的维数是(N×3)：G_i＝Θ(F_xyt(i)‑F_xyt(i+1))Θ(·)是归一化函数其中，所述p为3D点云序列，所述sum(p)为对p的求和；其中，步骤(二)中的关键骨骼节点子集提取的过程为：人体的3D骨骼模型包含有20个骨骼节点，对于每个骨骼节点j，找到它在整个视频序列中的最大位置坐标(max(x_j),max(y_j))、最小位置坐标(min(x_j),min(y_j))；然后，计算节点极值坐标位置的变化量得到节点的运动量L_x＝max(x_j)‑min(x_j)，L_y＝max(y_j)‑min(yj)；接下来，计算节点运动量的中心位置坐标最后，得到每个节点的中心位置相对于躯干节点位置的欧几里得距离diff_j：torso(0,0)表示躯干节点位置，θ(·)是欧几里得距离计算公式；串联每个节点的欧式距离形成偏差向量Jomov(i)，Jomov(i)＝diff₁∪diff₂∪......∪diff₂₀ i＝1......M；其中，所述i为关键骨骼节点，所述M为关键骨骼节点的数量，排序之后选择前10个节点作为关键节点子集。