[发明专利]基于时间依赖约束下深度非负矩阵分解的行为识别方法

摘要

本发明公开了一种基于时间依赖约束下深度非负矩阵分解的行为识别方法，主要解决现有方法提取的特征表达性不足，行为识别率低的问题。其实现步骤：1)对原始视频进行运动显著区域提取，并分段构造相应非负矩阵集合；2)添加时间依赖约束，构造时间依赖约束非负矩阵分解；3)利用时间依赖约束非负矩阵分解构造深度为L的时间依赖约束下深度非负矩阵分解框架，并利用该框架对非负矩阵集合中的数据进行分解；4)将各层输出的系数矩阵归一化后串接作为空时特征输出；5)对空时特征构建词袋模型，再通过SVM分类器进行识别分类。本发明能获得较高判别性和表达性的空时特征，可应用于视频监控、运动分析等对行为识别准确率要求较高的场合。

主权项

基于时间依赖约束下深度非负矩阵分解的行为识别方法，包括如下步骤：(1)对于原始视频O，提取每帧的运动显著性区域，构成视频运动显著性区域V＝{v1,v2，…,vi,…,vZ}，其中，vi表示第i帧的运动显著性区域，i＝1,2,…,Z，Z表示视频的帧数；(2)将视频运动显著性区域V的每s帧划分为一段，并遍历转化为非负矩阵集合X＝{X1,X2,…,Xq,…,XNs}，其中，Xq表示第q段显著性区域构成的非负矩阵，q＝1,2,…,Ns，Ns表示一个视频分段的段数；(3)添加时间依赖约束，构造时间依赖约束非负矩阵分解的目标函数D：D=||G-FH||22+λ(Σu∈U||diag(wu)(FTGPu)||22+||H-FTG||22)+η||H||2,1,]]>其中，G为非负矩阵，F为基矩阵，H为系数矩阵，λ和η分别为时间依赖项和稀疏项调节参数，wu是对应于间隔帧数集合U中任意元素u的权值列向量，u∈U，因此，对于应间隔帧数集合U，会构成一个权值矩阵W＝[w1,w2,...,wu,...,wg]，权值可以按行通过向量自回归方法计算，g表示最大间隔帧数，g＝max(U)，diag(wu)是将权值列向量对角化为一个对角矩阵，(·)T表示向量或矩阵的转置，||·||2,1表示L2,1范数，Pu＝Pg‑Pu∈Rn×(n‑g‑1)，Pg为水平偏移矩阵算子，Pu为水平偏移矩阵算子，I(n‑g‑1)×(n‑g‑1)为(n‑g‑1)×(n‑g‑1)的单位阵，0(g+1)×(n‑g‑1)为(g+1)×(n‑g‑1)的全0矩阵；(4)利用时间依赖约束非负矩阵分解构造深度为L的时间依赖约束下深度非负矩阵分解框架，并利用该框架对第q个视频片段的非负矩阵Xq进行分解，得到L个系数矩阵H(l)，l＝1,2,…,L，其中，l为分解层数索引；(5)对系数矩阵H(l)按行进行归一化并将归一化后的行串接，得到整个输入数据的空时特征输出rl为第l层非负矩阵分解维数，表示第l层系数矩阵的第k行；(6)对非负矩阵集合X的非负矩阵逐个分解，即对于每个非负矩阵均采用步骤(4)‑步骤(5)的操作，得到整个视频的空时特征输出：Feat=[Feat1T,Feat2T,...,FeatqT,...,FeatNsT]]]>其中Featq为第q个视频片段空时特征，(·)T表示向量或矩阵的转置，q＝1,2,…,Ns；(7)按照步骤(4)‑步骤(6)的过程对所有样本视频进行空时特征提取，并划分为训练集Dtr和测试集Dte，使用词袋模型获得训练集Dtr的直方图向量Ntr和测试集Dte的直方图向量Nte；(8)使用训练集的直方图向量Ntr训练SVM分类器，将测试集的直方图向量Nte输入到训练好的SVM中，输出测试集Dte对应的测试样本所属的行为类别。