[发明专利]基于局部时空特征描述与金字塔词汇树的视频行为识别方法

摘要

本发明公开了一种基于局部时空特征描述与金字塔词汇树的视频行为识别方法。针对LBP-TOP算法忽略了邻点之间的关系从而丢失了邻域结构信息的问题，以及忽略了时空特征在时域和空域上变化所具有差异性的问题，提出了DT-LBPTOP算法：在时域和空域使用dLBP描述子对8邻域的方向信息进行描述，解决了邻域之间变化率以及变化方向的问题；在时域上使用TLBP描述子进行描述，反映纹理在时序上的变化特性。同时使用多重等规模子集视觉词汇森林划分多重子区域，用直方图对多重区域内的向量进行统计，然后构造PMK函数，最后使用金字塔匹配核快速计算高维无序特征间的相似度，建立了一种新型分类模型。

主权项

基于局部时空特征描述与金字塔词汇树的视频行为识别方法，其特征在于：该行为识别方法包括以下步骤：步骤1特征的提取：步骤1.1首先将视频数据集转换成大小为图像高度*图像宽度*视频帧数的矩阵数据；步骤1.2设置局部时空立方体特征提取方法的相关参数：空间尺度σ、时间尺度τ、响应阈值R‑thresh以及时空兴趣点个数；步骤1.3通过计算视频数据中的每一个像素点响应值R，如果计算得到的像素点的响应值R>R‑thresh，则提取并保存该像素点的(x，y，t)坐标及响应值R；步骤1.4将提取出来的像素点根据其响应值R的大小进行降序排列，选取前n个像素点作为时空兴趣点；步骤1.5在找到响应值比较高的兴趣点后，就以兴趣点为中心生成时空子区域，用时空子区域中的信息对行为特征进行描述；步骤2特征的描述：步骤2.1首先使用Avg‑LBP算法将邻域的均值代替中心点像素灰度值作为阈值中心实现对时空纹理的描述，Avg‑LBP算法的计算公式为：$Avg-LBP{(x_c,y_c)}_{P,R}=\underset{p=0}{\overset{P-1}{\Σ}}s(g_p-\frac{1}{P}\underset{i=0}{\overset{P-1}{\Σ}}{g}_i)*2^p$其中，$s\left(x\right)=\left\{\begin{array}{cc}1,& x\≥0\\ 0,& x\<0\end{array}\right.$P为邻域像素数，g_p为邻域中的P邻点的灰度值，为P个邻点的像素均值；步骤2.2在时域和空域使用dLBP描述子对8邻域的方向信息进行描述，描述了邻域之间的变化率和变化方向，计算公式为：$\begin{array}{c}dLBP{\left(x_c,y_c\right)}_{P,R}=\underset{p^{\′}=0}{\overset{P^{\′}-1}{\Σ}}(s\left(\left(g_{p^{\′}}-g_c\right)*\left(g_{p^{\′}+P^{\′}}-g_c\right)\right)*2^{2p^{\′}}\\ +s\left(|g_{p^{\′}}-g_c|-|g_{p^{\′}+P^{\′}}-g_c|\right)*2^{2p^{\′}+1})\end{array}$其中，P’＝P/2，g_c为邻域中心像素点的灰度值，g_p’和g_p是沿中心点方向上中心点两侧P’邻点和P邻点的灰度值；步骤2.3利用TLBP描述子描述邻域像素之间的关系，其在每一行中比较了行中像素的关系，按行顺序的将像素灰度值进行比较并进行模式统计，计算公式为：${\mathrm{tLBP}}_{P,R}=s(g_0-g_{p-1})+\underset{p}{\overset{p-1}{\Σ}}s(g_p-g_{p-1})2^p;$步骤3构造模型，进行识别：步骤3.1基于等多视觉词汇森林的金字塔匹配核构造算法先将人体行为表示成SMVVF的直方图向量：令X为某段视频的时空兴趣点集合，为第m个VVF第l层的直方图向量，假设用表示第m个视觉词汇森林直方图向量，ω_l＝2^l‑L+是第l层的权重，则多重视觉词汇森林直方图向量H_X＝(¹H_X,²H_X,...,^MH_X)，M为多重视觉词汇森林中词汇森林的个数；步骤3.2将直方图向量转换为PMK核特征；步骤3.3将PMK核特征用于SVM分类，实现对视频行为的识别。