[发明专利]一种基于分层动力解析与编码的视频动作分类系统及方法

摘要

本发明涉及一种基于分层动力解析与编码的视频动作分类系统及方法，包括表观特征提取模块、动力解析模块、分层动力编码模块以及分类模块；表观特征提取模块从视频的每一帧或每相邻的几帧中提取表观特征，将视频表示成一个表观特征序列或低维状态序列；动力解析模块对表观特征序列或低维状态序列进行时序聚类，用无监督方式将序列分成若干个阶段，得到阶段解析路径；分层动力编码模块，建立一个两层的动力编码结构，在第一层中使用平均池化或排序池化对每个阶段内的图像帧的表观特征进行编码，得到编码序列；在第二层中使用排序池化对编码序列再次进行编码，获得具有固定维数的视频整体表达；分类模块使用支持向量机(SVM)对视频整体表达进行分类。

主权项

1.一种基于分层动力解析与编码的视频动作分类系统，其特征在于：包括表观特征提取模块、动力解析模块、分层动力编码模块和分类模块，其中：所述表观特征提取模块，使用基于表观的视频动作表达方法，从视频的每一帧或每相邻的几帧中提取表观特征，最终将视频表示成一个表观特征序列，如果表观特征的维数超过设定的阈值高维数，则建立线性动力系统模型提取表观特征序列的低维状态序列；所述表观特征是指颜色、纹理、色调的图像属性特征；所述动力解析模块，对获取的表观特征序列或低维状态序列进行时序聚类，用无监督地方式将表观特征序列或低维状态序列分成若干个阶段，得到阶段解析路径，所述阶段解析路径即划分出的各个阶段的起始帧的位置序列；分层动力编码模块，根据动力解析模块的阶段解析路径，建立一个两层的动力编码结构，在第一层中使用平均池化或排序池化对每个阶段内的图像帧的表观特征进行编码，得到由不同阶段的编码组成的编码序列；在第二层中使用排序池化对第一层得到的编码序列进行编码，获得具有固定维数的视频的整体表达；分类模块，使用支持向量机(SVM)对通过分层编码模块得到的视频的整体表达进行分类，最终得到视频的动作类别标签。