[发明专利]一种基于时空信息融合的视频人体行为识别方法

说明书

本发明涉及人工智能领域，更具体的，涉及一种基于时空信息融合的视频人体行为识别方法。本发明基于密集光流场结合轨迹的时间显著值提取显著轨迹，并基于底层显著轨迹构造了一种新的中层特征——轨迹组，其在一定程度上刻画了时间维度上的运动信息，弥补了底层轨迹的缺陷，同时构造了轨迹组在时间维度上的前后、远近关系，丰富了轨迹组的时间关系。本发明基于稀疏采样提出了自适应分段采样策略，对视频采样的数目随视频时长而自适应变化，对任意时长的视频都能够提取到富有判别力的空间信息。

技术领域

本发明涉及人工智能领域，更具体的，涉及一种基于时空信息融合的视频人体行为识别方法。

背景技术

近年来，一些研究构建中层特征以表示运动相关的语义信息弥补全局和局部特征表示的缺陷。这类表示方式能够较为有效地挖掘行为动作的时空结构，含有丰富的动作语义信息和较强的判别力。但现有的方法大多从运动几何等方面考虑，采用较为复杂的建模方式构建中层特征，导致计算资源耗用过多。

而在利用卷积神经网络提取视频中的空间信息时，当前常用的采样策略主要是稀疏采样策略，该策略将视频均匀分成K段，从每一段中随机选取一帧作为卷积网络的输入，最后将每一段的分类分数进行融合。这种采样方式对短视频和长视频都采用相同的K,在视频过长时可能导致丢失一些重要的帧信息，在视频过短时可能会使所采集的帧过多，造成冗余。

发明内容

本发明基于密集光流场结合轨迹的时间显著值提取显著轨迹，并基于底层显著轨迹构造了一种新的中层特征——轨迹组，其在一定程度上刻画了时间维度上的运动信息，弥补了底层轨迹的缺陷，同时构造了轨迹组在时间维度上的前后、远近关系，丰富了轨迹组的时间关系。本发明基于稀疏采样提出了自适应分段采样策略，对视频采样的数目随视频时长而自适应变化，对任意时长的视频都能够提取到富有判别力的空间信息。

为实现以上发明目的，采用的技术方案是：

一种基于时空信息融合的视频人体行为识别方法，包括以下步骤：

步骤S1：对视频时间信息进行提取分类，将原始视频进行灰度空间尺度变换，提取显著轨迹；

步骤S2：根据轨迹的持续时间进行聚类而构建视频中层特征TG；

步骤S3：构造TG之间的时间关系；

步骤S4：计算TG的特征描述符；

步骤S5：采用Fisher编码方法对TG特征进行编码，结合TG以及时间关系作为视频表示；

步骤S6：采用隐结构的支持向量机对视频进行分类；

步骤S7：对视频空间信息进行提取分类，采用自适应分段采样策略从视频中进行稀疏采样；

步骤S8：对采样所得到的视频帧利用卷积神经网络提取空间特征；

步骤S9：根据提取到的特征进行行为视频分类；

步骤S10：把根据视频时间信息得到的分类结果和根据视频空间信息得到的分类结果进行平均加权融合，得到最后的视频分类结果。

优选的，步骤S1具体包括以下步骤：

步骤S101：输入原始视频序列X；

步骤S102：计算初始化视频轨迹长度L,采样步长STEP：

步骤S103：对原始视频做灰度转换；

步骤S104：对进行灰度转换后的视频起始帧进行密集采样得到轨迹集初始点；

步骤S105：跟踪初始点在后续视频帧的位置，同时计算各个视频帧的时间显著值以及过滤阈值；