[发明专利]视频高层特征检索系统及其实现

说明书

技术领域

本发明属于视频检索技术领域，具体涉及一种基于内容的视频镜头检索方法。其实质是抽取镜头中的关键帧信息，对其进行多类特征提取，并分别用支撑向量机(SVM)计算所查询内容的匹配度，形成多个子系统。本发明提出了一种基于逻辑回归(Logistic Regression)的得分融合方式，在此基础上得到了统一的高准确率的视频高层特征检索系统。

背景技术

多媒体技术和互联网的发展给人们带来巨大的多媒体信息海洋，而IPTV、视频网站的的迅速崛起进一步导致了视频图片等多媒体信息的爆炸性增长，传统的基于文本关键词的检索方式已经无法满足多媒体信息描述和信息库整理的需要。如何找到一种新的检索方式，有效的帮助人们快速、准确地找到所需要的多媒体信息，成了多媒体信息库所要解决的核心问题。

基于内容的视频信息检索(Content-Based Retrieval)是一种新的检索技术，是当前多媒体数据库发展的一个重要研究领域，它通过对非结构化的视频数据进行结构化分析和处理，采用视频分割技术，将连续的视频流划分为具有特定语义的镜头，作为检索的基本单元，在此基础上进行关键帧(key frame)的抽取，形成描述镜头的特征索引，对图像中的颜色、形状、纹理，或视频中的场景、片断进行分析和特征提取，并基于这些特征进行相似性匹配。

在基于内容的视频图像检索中，之前主要研究的是图像的视觉和形象特征，我们称之为底层特征，包括颜色、纹理、形状以及在此基础上形成的空间关系等方面，以图像的底层视觉和形象特征为索引对图像进行检索具有计算简单、性能稳定的特点，但目前这些特征都有一定的局限性。为了实现更为贴近用户理解能力的自然而简洁的查询方式，填补底层特征与高层语义之间的语义鸿沟，近几年的研究逐渐转向基于场景和目标对象的视频图像高层特征的提取，尝试由图像的底层次特征推知高层次语义，从而使用高层语义特征计算图像相似程度。视像高层特征有时也称为概念，是指诸如“行人”、“海滩”、“踢足球”及“十字路口”等语义内容。视像高层特征抽取就是要计算机自动的发掘视像中这些语义内容。作为基于内容视像检索的一部分，视像高层特征抽取的任务是在视像结构分析基础上，进行语义分析。它不仅有着单独存在的意义，而且它还为最终的视像搜索提供更接近语义的特征，协助完成搜索任务。

发明的内容

为了有效的进行视频高层语义检索，填补人类思维的高层语义与图像处理中底层特征之间的鸿沟，本发明提出了一个基于颜色、边缘、纹理、特征点等多种底层特征和支持向量机(SVM)的视频高层特征检索系统。我们的系统包括四个模块，分别为镜头分割与关键帧抽取、底层特征提取、支持向量机分类、子系统融合，在每个模块中我们都提出了一些有效的方法来提高最终系统的性能。

本发明首先对视频片段进行镜头边界检测，然后等间隔抽取镜头中有代表性的几帧作为关键帧。对于抽取出的关键帧，我们提取了基于颜色、边缘、纹理、以及特征点的多种鲁棒性底层特征。多类底层特征的采用为视频的高层语义特征提供了多方面的描述，由于它们具有很强的互补性，对于不同的语义概念能够分别显示出很强的区分力，这就使得系统对于各中不同概念的检测性能都能得到有效的保证。然后所提取特征被分别送到支持向量机(SVM)中进行分类，形成多支子系统。

在概念分类阶段我们选择了支持向量机(SVM)作为分类器，并且首次使用了基于稠密最近邻(Condensed Nearest Neighbor)的方法选取训练参数，有效解决了训练过程中普遍存在的正负样本不均衡问题。为了充分利用多个子系统提供的描述信息，对于多支系统的分类得分，我们采用了两级融合策略，并引入了逻辑回归(Logistic Regression)的方法来学习到最佳的融合策略，使得融合系统的准确率与召回率大大提高。

附图说明

图1为本发明的系统总体框图

图2为关键帧抽取与低层特征提取流程图

图3为支持向量机训练及分类流程图

图4为系统融合流程图

具体实施方式

下面结合附图具体对本发明作进一步的详细描述。如图1所示，本发明方案分以下步骤：

(1)、自动镜头分割及关键帧抽取；

(2)、对于关键帧的多种特征提取；

(3)、基于支持向量机的概念分类；

(4)、基于逻辑回归的系统融合。

下面是对各步骤的详细说明：

1、镜头边界自动分割及关键帧抽取