[发明专利]基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

说明书

本发明公开了一种基于组稀疏编码的单个非结构化视频的可扩展缩略的方法。对每个非结构化视频，将视频均匀切分为一小组片段，进行向量化表示。选取前n个片段为初始视频摘要，并通过组稀疏编码进行重构，获得初始字典和重构系数。用当前字典对下一片段进行重构并计算重构误差。若重构误差大于设定阈值，当前片段加入摘要。依次处理每个片段直到结束获得最终的字典和重构系数。根据稀疏重建系数，建立可扩展缩略。本发明以最小化视频片段单独稀疏性的同时最大化视频片段整体可分性为优化目标，对传统视频缩略方法进行有效扩展，建立了单个非结构化视频的缩略构建框架。可扩展缩略满足了不同用户的要求，增强了用户对关键内容的视觉体验。

技术领域

本发明属于视频摘要领域，特别是涉及一种基于组稀疏编码的单个非结构化视频的可扩展缩略的方法。

背景技术

随着互联网的发展，数据交换的内容已经不是纯粹的文本信息，许多交换的数据都是图像或视频格式。如何从视频数据中快速查找用户感兴趣的内容，是视频检索的热点。如果想查找某一方面内容的视频文件，若对每个视频逐一进行查询，相当费时费力；如果能够把视频内容进行浓缩，提取出其中最主要的部分，如两个小时左右的视频文件，用一个简短的片断(5～7min)的视频摘要来表示出主要内容，这样查找起来就方便多了。

传统的视频摘要技术主要针对编辑过的结构化视频，如电影、电视剧、新闻报道、体育等。区别于结构化视频，非结构化视频未经人工编辑，一般不具有特殊的结构，镜头切换，场景切换不明显。另外，非结构化视频内容上分散，视频长度不一，通常质量低下，带有相机抖动、各种光照条件等。这些为非结构化视频摘要技术的发展带来较大挑战。

目前，主要的视频摘要领域有基于关键帧的方法，基于聚类的方法等技术。基于关键帧的方法中，选取关键帧的准则是考虑帧之间的非相似性，以视觉特性如颜色，运动为衡量标准来抽取关键帧。该方法存在明显缺陷：帧选取依赖于阈值的选择，计算量太大，不可能做到实时处理。基于聚类的方法是把视频分割成一组组镜头，通过聚类分析找出最优聚类，仅有颜色特征不能很好地表达视频的语义信息。

发明内容

针对现有技术存在的缺陷，本发明的目的是提供一种基于组稀疏编码的单个非结构化视频的可扩展缩略的方法。本方法能够高效准确地浓缩冗长的视频，同时使得视频适合不同用户的需求，视频的长度可扩展。

为达到上述目的，本发明采用如下技术方案：

一种基于组稀疏编码的单个非结构化视频的可扩展缩略的方法，包括以下步骤：

步骤1：输入原始视频，将视频均匀切分为一小组片段，提取每个片段的时空兴趣点，形成相应的向量化表示；

步骤2：选取视频的前n个片段作为视频摘要的一部分，并通过组稀疏编码算法对这n个片段进行重构，获得初始字典和重构系数；

步骤3：用当前字典对下一个片段进行重构并计算重构误差，若误差大于设定阈值，将该片段加入摘要中并更新字典；

步骤4：按照步骤3依次处理每个片段直到结束，获得最终的字典和重构系数；

步骤5：根据步骤4获得的稀疏重构系数，解决整数二次规划问题建立可扩展缩略。

所述步骤1中的提取每个视频片段的时空兴趣点，形成相应的向量化表示的方法是：

每50帧为一个片段，假设视频被分为k个片段，X表示视频片段，即X＝{X₁,……,X_i,……,X_k}；

提取各帧的时空兴趣点，运用HOG，HOF描述子描述时空兴趣点，对其进行PCA降维，得到每个时空兴趣点最终的描述子；