[发明专利]基于非监督学习和语义匹配特征交互式体育视频检索方法

说明书

技术领域

本发明涉及计算机应用技术领域，特别涉及多媒体检索技术。

背景技术

随着多媒体技术和计算机网络的飞速发展，全世界包括数字图像、音频、视频在内的多媒体数据正在以惊人的速度增长。每天新生成的数千兆字节的多媒体数据，由于其分布的无序性，就如同泛滥的洪水般无情的淹没了其中所包含的大量有用信息。面对如此丰富且散布在世界范围内的海量多媒体资源，用户如何才能有效的利用信息及互联网新技术实现对所需多媒体资源的快捷定位，方便获取和有效管理已成为一个十分迫切问题，也使得多媒体检索技术逐渐成为一个非常活跃的研究领域。

基于内容的多媒体检索是指对多媒体数据所蕴含的物理内容和语义内容进行计算机分析和理解，以方便用户查询，其本质就是对无序的多媒体数据流结构化，提取语义信息，保证多媒体内容能够被快速检索。基于内容的视频检索和基于内容的图像检索是多媒体检索的两个最重要的分支。近年来，由于编码、计算机多媒体处理和网络传输技术飞速发展，用户可以通过高速互联网实时查询、欣赏和产生丰富多彩的视频数据，如电影、动画、新闻和体育节目等，并利用计算机自动处理视频数据流。视频已经成为人们传输和获取信息的主要途径之一。本质上，视频是由连续的图像帧序列组成的连续数据流，是二维数字图象和时间维度构成的三维对象。主要特点如下：(1)视频数据较之于图像包含更多的视觉信息和语义信息；(2)视频的数据量巨大；(3)视频的抽象化、结构化程度低，对其进行有效的管理和方便的检索存在着很大的困难。因此，基于内容的视频检索已成为计算机应用技术和模式识别领域最热门的研究课题之一，具有十分广阔的应用前景。

视频数据本质上就是图像序列，视频检索中所用的视频特征也是由图像帧的底层特征组成，同时图像检索中所用到的检索机制和思想也为视频检索的发展奠定了坚实的基础。因此图像检索的基本技术可以说是一个必修环节。基于内容的图像检索(CBIR，Content-based ImageRetrieval)是指直接采用图像内容进行图像信息查询的检索技术。其主要思想是根据图像所包含的色彩、纹理、形状以及对象的空间关系等低层图像特征来分析图像信息，建立图像的特征向量作为索引；用户检索时一般是提供样例图像，系统抽取该样例图像的相应特征向量，然后同数据库中所有被检索对象的特征向量进行比较，并将与样例特征相似的图像返回给用户。

基于内容的视频检索主要是依赖于视频的视觉特征和时空特征。常用的检索方式是基于视频例子的检索，用户提交视频例子，检索系统从大型视频数据库中返回用户需要的相似视频。视频数据是由二维空间和时间构成的三维对象，如何定义视频之间的相似性量度是一个难点，需要解决以下关键问题：

(1)视频不是简单的帧序列集合，而是由场景-组-镜头-关键帧组成的层次结构，视频间相似度衡量在哪个层次上进行是视频比较的前提；

(2)关键帧的视觉特征是整部视频视觉特征的基础，但每部视频都有相当数量的关键帧；对于大型视频数据库而言，所有视频的各个关键帧视觉特征的存储量和相互间比较次数都是很可观的；

(3)两部视频是否相似是一个很复杂的问题，不同用户有不同的理解，掺杂着人为主观因素，要设计合理的视频比较算法必须尽量综合考虑各种因素。

基于镜头质心向量的视频检索系统引入镜头质心向量这一新概念，计算镜头层次的相似度进而又产生视频层次的相似度；利用关键帧间的数据冗余，通过牺牲一定的视频时空信息，大大降低了关键帧特征的存储量，简化了系统的复杂程度，实现了基于内容的视频检索的基本方法。

“iARM”系统使用基于模型的方法对视频的时空序列信息进行准确的建模并将对象内容映射到事先生成的模型上去。该系统强调对视频时空信息建模的准确性，因此其相关反馈分析仅仅需要有限次反馈和较少的训练样本即可获得较小的检索时间和较好的检索性能。

除上述技术外，基于图理论的非监督学习算法、图像检索相关反馈技术和基于用户反馈的信息嵌入技术等都为本发明奠定了基础。

发明内容

本发明的目的是提出新的中层、高层视频特征，以反映视频的序列时空信息和语义主题；建立新的基于非监督学习的检索机制，以降低相似度在线计算复杂度和减少检索时间；构建新的交互式检索界面，以在线优化查询向量、在线校正语义标记、提高检索性能和扩充数据库，为此，本发明提供一种基于非监督学习和语义匹配特征的交互式体育视频检索方法。

为实现上述目的，本发明提供基于非监督学习和语义匹配特征的交互式体育视频检索方法，包括步骤如下：

步骤1：在视频数据库的视频图像帧层次提取图像底层特征；