[发明专利]一种基于时空信息融合的视频人体行为识别方法

权利要求书

1.一种基于时空信息融合的视频人体行为识别方法，其特征在于，包括以下步骤：

步骤S1：对视频时间信息进行提取分类，将原始视频进行灰度空间尺度变换，提取显著轨迹；

步骤S2：根据显著轨迹的持续时间进行聚类而构建视频中层特征TG；

步骤S3：构造TG之间的时间关系；

步骤S4：计算TG的特征描述符；

步骤S5：采用Fisher编码方法对TG特征进行编码，结合TG以及时间关系作为时间信息视频表示；

步骤S6：采用隐结构的支持向量机对视频进行分类；

步骤S7：对视频空间信息进行提取分类，采用自适应分段采样策略从视频中进行稀疏采样；

步骤S8：对采样所得到的视频帧利用卷积神经网络提取空间特征；

步骤S9：根据提取到的特征进行行为视频分类；

步骤S10：把根据视频时间信息得到的分类结果和根据视频空间信息得到的分类结果进行平均加权融合，得到最后的视频分类结果；

步骤S1具体包括以下步骤：

步骤S101：输入原始视频序列X；

步骤S102：计算初始化视频轨迹长度L,采样步长STEP：

步骤S103：对原始视频做灰度转换；

步骤S104：对进行灰度转换后的视频起始帧进行密集采样得到轨迹集初始点；

步骤S105：跟踪初始点在后续视频帧的位置，同时计算各个视频帧的时间显著值以及过滤阈值；

步骤S106：将视频序列的轨迹记作表示以第j帧为起始帧，第i个点形成的长度为L的轨迹，将第j帧上每个特征点p^j(x^j,y^j)，通过中值滤波后的密集光流场f＝(u_t,v_t)跟踪至第j+1帧：得到第j+1帧的位置p^j+1，具体公式如下：

其中，M为中值滤波核，是(x^j,y^j)四舍五入取整后的位置坐标；

步骤S107：计算第j帧的所有采样点的时间显著值，设在第j帧中，点周围3×3像素块作为该点的中心块为其周围9×9像素块为第一周围块为16×16像素块为第二周围块为为中心块建立一个光流字典和分别为对应的同一光流图像上的两个周围块，点的中心块与周围块的运动差值作为的时间显著值，记作由以下公式计算获得：

其中O_v(·)和O_h(·)分别是中心块和周围块的水平和垂直方向上的光流平均值，轨迹的时间显著值S(t_i^j)定义为该轨迹上每个点的平均时间显著值：

步骤S108：在第j帧的时间显著值的基础上计算平均时间显著值，第j帧的平均时间显著值S_f定义为：

其中，H和W分别是帧的高度值和宽度值；为第j帧所有采样点的时间显著值总和；count是帧采样点的总个数；

步骤S109：计算每一帧的过滤阈值T_f；

步骤S110：初始化T_f为2S_f，若点的时间显著值小于T_f，则T_f设置为否则T_f保持不变；

步骤S111：计算每条轨迹的时间显著值；

步骤S112：计算轨迹的自适应过滤阈值长度为L的轨迹共跨越L+1帧；

步骤S113：提取显著轨迹集，

步骤S2具体包括以下步骤：

步骤S201：构建视频表示M_c：

其中，φ(X)表示提取到的整个视频的显著轨迹，X为视频序列，表示从一个视频的N个TG中学习出K个最具有判别力的TG，τ表示隐变量，μ＝(μ₀,μ_i)表示显著轨迹特征和TG的权重；

步骤S202：将视频轨迹作为视频表示M_c中的隐变量进行学习，学习到的隐变量为具有较强判别力的TG集合。