[发明专利]一种基于镜头间上下文的视频概念标注方法

说明书

技术领域

本发明属于视频内容分析和理解技术领域，具体涉及一种基于镜头间上下文的视频概念标注方法。

背景技术

近年来，随着互联网技术与多媒体技术的迅速发展，网络上出现了海量的视频内容，面对如此海量的视频信息，如何利用计算机来对之进行有效的管理，使用户能够迅速准确地检索到想要的内容，成为了一个急待解决的关键问题。然而，人类理解的视频和计算机理解的视频之间存在着差异：人类是从语义的角度理解视频的，而计算机只能提取视频内容中的底层特征，例如颜色、纹理、形状及声音等，并不能理解其中的语义，因此，人类的理解和计算机的理解之间存在着一条鸿沟，称为语义鸿沟，语义鸿沟成为了计算机对视频内容进行自动分析和管理的一大障碍。为了缩短语义鸿沟的距离，帮助计算机更好地理解和管理视频内容，研究者们提出了视频概念标注技术，该方法首先定义语义概念词典，词典中包含的语义概念尽量广地覆盖视频中可能出现的内容，对于一段视频，可以选取相应的概念对视频的主要内容进行描述；在定义了语义概念词典之后，视频概念标注技术主要研究如何建立视频与语义概念之间的映射关系，对于每一段视频，把它映射到相应的语义概念上去，并用这些语义概念来对视频内容进行描述，可以有效缩短语义鸿沟的距离。图1给出了一个例子进行说明，这些概念取自文献“Lscom lexicon definitions and annotations version 1.0，dto challengeworkshop on large scale concept ontology for multimedia”(该文献是2006年Columbia大学的技术报告)中定义的语义概念词典，可以看到，视频包含的语义概念能够对视频的主要内容进行描述。在对视频进行检索的时候，可以利用相应的概念来对视频进行索引，从而实现对海量视频的有效管理。因此，视频概念标注技术具有十分重要的研究和应用价值。

现有视频概念标注技术可以分为两类，第一类方法直接建立视频底层特征与语义概念的映射关系。例如，在2007年的Columbia大学技术报告中，A.Yanagawa和S.F.Chang等在文献“Columbia university’s baseline detectors for 374 LSCOM semantic visual concepts”中提取了视频的三种底层特征，对每一个概念，分别基于这三种特征训练得到三个检测子，在对某一镜头进行标注时，这三个检测子分别输出一个预测概率，最后取这三个概率值的平均值作为该镜头包含相应概念的概率。第二类在第一类方法的基础上，利用相邻视频镜头在语义上的关系来进一步优化概念标注的结果。一般而言，具体关注某一给定概念，称之为目标概念时，我们把视频中镜头之间的关系分为四类：一致性，正相关、负相关和无关。其中，一致性是指，如果一个镜头中包含目标概念，则可增大其相邻镜头包含目标概念的概率；正相关是指，如果一个镜头中包含的概念与目标概念正相关，则能增大其相邻镜头中包含目标概念的概率；负相关是指，如果一个镜头中包含的概念与目标概念负相关，则会降低其相邻镜头中包含目标概念的概率；无关是指，镜头中包含的概念与目标概念无关，那么该镜头对于其相邻镜头中是否包含目标概念不会产生影响。在2008年的ACM Multimedia Conference上，M.F.Weng和Y.Y.Chuang在文献“Multi-cue fusion for semantic video indexing”中利用视频相邻镜头在语义上的一致性，对语义概念标注的结果进行优化。然而，该方法只考虑了连续镜头在语义上的一致性，而没有考虑其他关系，例如正相关和负相关等，因此具有进一步提高的改进空间。

发明内容

针对现有技术的不足，本发明提出了一种基于镜头间上下文的视频概念标注方法，用于把视频镜头标注为相关的语义概念，以达到对视频内容进行描述的目的。该方法充分考虑了视频中镜头的各种关系，包括一致性、正相关、负相关和无关等，能够进一步优化视频概念标注的结果，从而有利于对视频内容的理解和管理。

为达到以上目的，本发明的技术方案如下：

一种基于镜头间上下文的视频概念标注方法，包括以下步骤：

1)给定具有人工标注结果的视频训练集，为标注的每一个语义概念训练得到一个概念检测子，把训练集和待标注测试集中的视频镜头输入到概念检测子，输出每个镜头中包含相应概念的预测概率；

2)将某一给定的语义概念作为目标概念，按照训练集视频镜头中包含的概念和目标概念的关系，把镜头分类为不同类型，并提取镜头类型特征；