[发明专利]一种基于显著轨迹空间信息的视频人体行为识别方法

权利要求书

1.一种基于显著轨迹空间信息的视频人体行为识别方法，其特性在于，包括以下步骤：

S1：提取视频帧，构建图像金字塔，然后对视频进行超像素分割，在图像金字塔上计算光流，然后利用帧的颜色，空间分布，以及光流的对比性来计算动态和静态显著性，将它们融合为总的显著性；

S2：将轨迹显著性定义为轨迹每点在组合显著性图像中显著性的均值；然后计算自适应阈值，当轨迹显著性小于阈值时，则认为是背景轨迹或者非运动区域的轨迹而予以删除，从而有效提取显著轨迹；

S3：首先对视频的所有显著轨迹进行随机采样，然后对采样得到轨迹利用其空间信息进行AP聚类，得到不定数量的聚类中心，接着用k-means将聚类中心调整为固定的数目C，最后将视频所有的轨迹分类到距离最近的聚类中心去，从而得到了视频的轨迹分类；

S4：对一个视频C个类的轨迹进行编码，得到了C个向量，向量就是视频的表示；

所述步骤S1的过程如下：

S11：对视频帧进行金字塔构建和超像素分割，对于图像金字塔的某一层而言，得到K个超像素；

S12：计算超像素基于颜色对比的显著性：

其中，K是超像素的数量，c_i和c_j表示两个超像素的颜色值，p_i和p_j是超像素中心位置的坐标，w_ij^(p)是对颜色对比值进行校正的系数，σ_p用来控制颜色对比显著性的范围，设置为0.25；

S13：计算超像素基于空间分布对比的显著性：

其中，Z_i表示金字塔中某层的相邻像素的总量，其中w_ij^(c)是对空间位置对比值的校正系数，σ_c用来控制空间对比显著性的范围，取20，是颜色c_i的平均权重位置；

S14：基于颜色对比和基于空间分布对比的显著性融合得到超像素的静态显著性：参数S_i表示表示第i个点的静态显著性，其中和是基于颜色对比显著性U_i和基于空间分布对比显著性D_i归一化到了[0,1]后的值，k表示控制参数，用来控制颜色对比和空间的对比的相对强度，取值为1；

S15：静态显著性能够有效地剔除视频中帧的背景区域，利用插值得到静态的显著性：

其中w_ij是高斯权重，S_j表示第j个像素的静态显著性，x_fi表示帧f上的第i个像素，d_i和d_j是像素i和j的颜色值，q_i和q_j是像素i和j的位置，β和α均设置为30；

S16：在未做超像素分割的金字塔图像上计算光流，然后利用某一像素点的所在的视频帧f_i的平均光流值与该点光流值的对比，即卡方距离，得到动态显著性：

C_d(x_fi)＝χ²(h(x_fi),h(A(x_fi)))，

其中，h(x_fi)是像素点x_fi处光流直方图的所有bin组成的向量，h(A(x_fi))是全部h(x_fi)的bin的平均值组成的向量；

S17：结合动静态显著性，得到某一个像素点的显著性：

其中,和是经过归一化后像素的显著性，a和b用来控制两种显著性的权重，均设置为1。