[发明专利]一种基于时空信息融合的视频人体行为识别方法

摘要

本发明涉及人工智能领域，更具体的，涉及一种基于时空信息融合的视频人体行为识别方法。本发明基于密集光流场结合轨迹的时间显著值提取显著轨迹，并基于底层显著轨迹构造了一种新的中层特征——轨迹组，其在一定程度上刻画了时间维度上的运动信息，弥补了底层轨迹的缺陷，同时构造了轨迹组在时间维度上的前后、远近关系，丰富了轨迹组的时间关系。本发明基于稀疏采样提出了自适应分段采样策略，对视频采样的数目随视频时长而自适应变化，对任意时长的视频都能够提取到富有判别力的空间信息。

主权项

1.一种基于时空信息融合的视频人体行为识别方法，其特征在于，包括以下步骤：步骤S1：对视频时间信息进行提取分类，将原始视频进行灰度空间尺度变换，提取显著轨迹；步骤S2：根据显著轨迹的持续时间进行聚类而构建视频中层特征TG；步骤S3：构造TG之间的时间关系；步骤S4：计算TG的特征描述符；步骤S5：采用Fisher编码方法对TG特征进行编码，结合TG以及时间关系作为时间信息视频表示；步骤S6：采用隐结构的支持向量机对视频进行分类；步骤S7：对视频空间信息进行提取分类，采用自适应分段采样策略从视频中进行稀疏采样；步骤S8：对采样所得到的视频帧利用卷积神经网络提取空间特征；步骤S9：根据提取到的特征进行行为视频分类；步骤S10：把根据视频时间信息得到的分类结果和根据视频空间信息得到的分类结果进行平均加权融合，得到最后的视频分类结果。