[发明专利]基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

权利要求书

1.一种基于组稀疏编码的单个非结构化视频的可扩展缩略的方法，其特征在于，包括以下步骤：

步骤1：输入原始视频，将视频均匀切分为一小组片段，提取每个片段的时空兴趣点，形成相应的向量化表示；

步骤2：选取视频的前n个片段作为视频摘要的一部分，并通过组稀疏编码算法对这n个片段进行重构，获得初始字典和重构系数；

步骤3：用当前字典对下一个片段进行重构并计算重构误差，若误差大于设定阈值，将该片段加入摘要中并更新字典；

步骤4：按照步骤3依次处理每个片段直到结束，获得最终的字典和重构系数；

步骤5：根据步骤4获得的稀疏重构系数，解决整数二次规划问题建立可扩展缩略，方法是：

选择组合在一起的视频小片段时，其相应的稀疏重构系数应满足两个主要特性，是两项准则：

一是稀疏性，重构的系数越稀疏，越接近字典中的原子；

二是可分性，不同视频小片段稀疏表达的原子应尽量不同，从而在整个视频中越具有代表性；

将上述两项准则数字化，由稀疏重构系数构建长度可伸缩的视频缩略表述为下述优化问题：

s.t.1^Tb＝s，

b_i∈{0，1}，i∈{1，......，N}

式中，b＝{b₁，......，b_n}为是否选取各个视频片段的二元指示符，Aⁱ为第i个视频片段的稀疏重构系数矩阵，N为视频片段的数目，b_i＝1表示该选取该片段组成最终的视频缩略，等式约束1^Tb＝s规定了视频缩略的长度为s；式(5)是一个整数二次规划问题，引入松弛变量代替二次项，将式(5)转化为整数线性规划问题进行求解。

2.根据权利要求1所述基于组稀疏编码的单个非结构化视频的可扩展缩略的方法，其特征在于，所述步骤1中的提取每个视频片段的时空兴趣点，形成相应的向量化表示的方法是：

每50帧为一个片段，假设视频被分为k个片段，X表示视频片段，即X＝{X₁，......，X_i，......，X_k}；

提取各帧的时空兴趣点，运用HOG，HOF描述子描述时空兴趣点，对其进行PCA降维，得到每个时空兴趣点最终的描述子；

顺序联接各帧的描述子，得到的矩阵为每个片段的向量化表示，片段的向量化表示组成视频的向量化表示，x表示视频片段的HOG，HOF描述子的向量化表示，即x＝{x₁，......，x_i，......，x_k}。

3.根据权利要求1所述基于组稀疏编码的单个非结构化视频的可扩展缩略的方法，其特征在于，所述步骤2中的通过组稀疏编码算法对前n个片段进行重构的方法是：

前n个片段记为x₀＝{x₁，......，x_i，......，x_n}，其中x表示视频片段的HOG，HOF描述子的向量化表示，n小于片段总数k的5％，x_i表示第i个片段；设初始字典为D，有m个原子，即D＝{d₁，......，d_m}；重构系数为A，元素数目对应帧的个数，维度对应字典原子数目，即给定字典，通过交替方向乘子算法优化目标函数，得到每个视频片段的稀疏表达：

式(1)的第一项为重构误差，使字典中的原子线性组合后与原特征接近，第二项为群组稀疏正则项，约束特征向量组仅用到了字典中的一少部分原子进行重构，参数λ是对重构误差和群组稀疏性两个目标的折衷；

通过交替方向乘子算法优化以下目标函数，即得到前n个片段的稀疏表达：

式中，第一项为所有视频片段的重构误差，第二项为字典原子的正则项，η为二者权重系数，n为视频中视频片段的数目，n_i为第i个视频片段的特征数目，m为字典的大小；

求出前n个片段的稀疏表达，固定重构系数，通过交替方向乘子算法优化字典，即优化以下目标函数：

使用交替方向乘子算法固定重构系数A求解字典D，固定字典D求解重构系数A，反复迭代500次，得到合适的重构系数A和字典D。

4.根据权利要求1所述基于组稀疏编码的单个非结构化视频的可扩展缩略的方法，其特征在于，所述步骤3中的通过对下一个片段进行重构并计算重构误差，若误差大于设定阈值，将该片段加入摘要中并更新字典的方法是：

对下一个视频片段x_i用式(1)的组稀疏编码算法进行重构，其中x_i表示第i个视频片段的HOG，HOF描述子的向量化表示，式(1)的第一项为该视频片段的重构误差；如果重构误差大于设定阈值，则当前片段加入到视频摘要中，x表示当前视频摘要片段的HOG，HOF描述子的向量化表示，x₀表示前面得到的视频摘要片段的HOG，HOF描述子的向量化表示，即x＝x₀∪x_i；

如果当前摘要x含有q个片段，那么更新字典D即求解目标函数：

使用交替方向乘子算法求解这个优化问题。