[发明专利]基于轨迹和卷积神经网络特征提取的行为识别方法

摘要

本发明公开了一种基于轨迹和卷积神经网络特征提取的行为识别方法，主要解决人类行为视频内容复杂且特征稀疏而导致计算冗余以及分类正确率低的问题。其步骤包括：输入图像视频数据，对视频帧中像素点下采样，剔除均匀区域采样点，提取轨迹，利用卷积神经网络提取卷积层特征，结合轨迹和卷积层特征抽取基于轨迹约束的卷积特征，基于轨迹约束的卷积特征提取栈式局部费舍尔向量特征，压缩变换栈式局部费舍尔向量特征，利用最终的栈式费舍尔向量特征训练支持矢量机模型，进行人体行为识别与分类。本发明采用了多层次费舍尔向量结合卷积轨迹特征描述子的方法，能获得较高且稳定的分类正确率，可广泛应用于人机交互，虚拟现实，视频监控等领域。

主权项

1.一种基于轨迹和卷积神经网络特征提取的行为识别方法，其特征在于，包括有如下步骤：/n(1)输入所有视频数据：其中包含B种人体行为，每个视频中只含有一种行为，每个视频包含m帧，每一帧长、宽分为H和W，每个视频为一个样本；/n(2)获得每个视频的局部费舍尔向量特征：对输入的每个视频采样视频帧，剔除采样视频帧中均匀区域的采样点，对得到的采样点提取运动轨迹，利用卷积神经网络提取卷积层特征，得到基于轨迹约束的卷积层特征，采用不同尺度的长、宽、时间轴将视频分割为多个子块，利用子块中轨迹的数量筛选子块，对筛选后的子块中轨迹约束的卷积层特征进行费舍尔向量编码，得到每个视频的栈式局部费舍尔向量编码特征，具体步骤如下；/n(2.1)对每个视频中的采样帧进行下采样，从第1帧开始，以Q为时间间隔，采样视频帧，对每一采样帧基于网格进行像素点步长为5的稠密下采样，得到下采样后的图像I