[发明专利]一种基于深度视频序列的人体行为识别方法

摘要

本发明公开了一种基于深度视频序列的人体行为识别方法，该方法计算视频序列内所有像素点的四维法向量，通过在不同时空领域内构建行为序列的时空金字塔模型，提取像素点在不同层的底层特征，基于底层特征学习组稀疏字典，得到底层特征的稀疏编码，利用空间平均池和时间最大池整合编码，从而获得高层特征作为最终行为序列的描述符。这种描述符能够有效保留人体行为时空多分辨率的信息，同时通过消除不同行为类别所含有的相似内容，获得表达力更强的稀疏字典，以有效提高行为识别率。

主权项

一种基于深度视频序列的人体行为识别方法，其特征在于，该方法计算视频序列内所有像素点的四维法向量，通过在不同时空邻域内构建行为序列的时空金字塔模型，提取像素点在不同层的底层特征，基于底层特征学习组稀疏字典，得到底层特征的稀疏编码，利用空间平均池和时间最大池整合编码，从而获得高层特征作为最终行为序列的描述符；包括以下步骤：(1)初始化一个深度视频序列，构建自适应时空金字塔得到时空单元；(2)计算4D法向量：计算深度视频序列的所有点的法向量；(3)利用时空金字塔和局部金字塔模型，从局部时空邻域聚集法向量，从而计算多维金字塔向量{Pi}，在一个深度视频序列，与每个点关联的多维金字塔向量由这个点在不同时空邻域Ω内的N个多维向量连接构成：个数N是由两个参数nl和np决定，其中nl定义为空间金字塔的层数，np定义为每层金字塔内维的个数，与每个点关联的多维向量由这个点Ω邻域内的M个法向量连接构成：n1,...,nM∈Ω，邻域Ω是由两个参数ns和nt决定的时空深度子空间，其中ns定义为空间邻域内点的个数，nt定义为时间邻域内点的个数；(4)稀疏编码：根据学习后的字典和时空单元通过组稀疏编码计算{Pi}对应的系数{xi}，{xi}表示{Pi}在组稀疏字典下对应的稀疏系数，是一个与字典列数相同维数的列向量，每个元素表示{Pi}在字典不同基底下的投影；(5)构建P‑SNV描述符：对于网格，i＝1:|V|；对于第k个视觉词dk,k＝1:K；对于空间平均池，对于时间最大池，for i＝1,...,f；构建表示在第i个网格中，对于第1个视觉词，经过空间平均池和时间最大池得到的向量，表示在第i个网格中，对于第k个视觉词，经过空间平均池和时间最大池得到的向量；得到表示第1个网格对应的描述符，表示第V个网格对应的描述符，将一个视频划分的V个网格整合成该视频的最终描述符P‑SNV；(6)SVM分类；(7)输出分类结果。