[发明专利]一种基于多视角的交互式视频搜索方法

说明书

技术领域

本发明涉及一种基于多视角的交互式视频搜索方法，属于视频搜索技术领域。

背景技术

随着视频采集设备(如数码相机、摄像机等)的快速流行，以及视频制作、存储、传输等技术的迅速发展，视频数据在的生活中无处不在，并且数据量庞大，甚至家庭自拍的DV也动辄数G。因此，如何从如此巨大视频资源中准确的搜索出用户需要的信息，已经成为一个亟待解决的问题。视频搜索技术将是新一代搜索引擎的核心，也是以后建立数字图书馆，智能信息查询系统，友好的人机交互系统的关键技术，它在生物医学、军事、教育、娱乐以及网上搜索等领域有着广泛的应用。所谓视频检索就是从大量的视频数据中检索到用户感兴趣的视频片断。传统的基于文本的视频检索方法将视频检索转化为文本检索，利用相对成熟的文本搜索技术来实现数字视频的搜索。具体来说，这种方法将视频内容用文本信息来描述，即利用文本来描述视频内容的语义特征，进而基于文字进行检索。事实上，目前的自动视频标注技术还远远不能满足实际要求，仍然需要人工手动的进行文本标注，这是一项费时费力的工作，而且由于受标注者的主观因素影响很大，标注的准确性也很受质疑。因此，单纯的基于文本的视频检索方法很难满足视频检索需要。与此相比，基于内容的视频检索更具有优势。所谓基于内容的视频检索是指通过分析视频的内容和上下文关系，从低层到高层进行处理、分析和理解，从而获取其内容并根据内容进行检索。它的基本思想是利用完全自动的方式从视频数据中提取一系列低层的内容描述符(比如，颜色、纹理、形状等)，通过一定的相似性度量方式来进行相似性比较，从而达到检索的目的。由于视频数据既包含了高层的语义信息，也包含了低层的视觉信息，并且同时具有时间和空间两个属性，所以视频数据的结构比较复杂，包含的内容也比较丰富，并且它在多义性和相似性度量复杂性方面也远高于文本数据。正是由于视频数据的这些特性，使得目前的特征提取技术还不能提供一种可以很好描述高层语义的特征描述方式，这就出现了所谓的语义鸿沟问题，即低层特征(低层特征描述符)的相似性并不能代表高层语义(用户查询意图)的相似性。这也注定使得这种检索方式返回大量和用户需求不相关的视频片段。为有效的弥补低层特征和用户高层语义查询的鸿沟，视频检索领域的研究者付出了艰辛的努力，并取得了大量的成果。可以说，视频检索的核心问题就是如何克服这个语义鸿沟。

作为一种很有前途的解决方案，交互式搜索技术在一定程度上填补这个鸿沟。交互式视频搜索是一种用户导向的视频搜索技术，其核心思想是利用用户在搜索过程中的反馈信息，来预测用户的查询意图，以便返回符合用户要求的信息.近年来，越来越多的研究者和研究机构开始关注交互式搜索技术，并取得了大量成果。好的交互式搜索技术可以有效地提高搜索精度，为用户提供满意的搜索结果。另外，由于不同的用户反馈反映了不同用户的偏好，因而交互搜索也有利于实现用户的个性化搜索。当前，大部分的交互式搜索技术都是通过用户标注来获取反馈信息的。其基本过程是：

1).系统首先提供给用户一个初始的搜索结果列表；

2).接着用户从这个列表中手动选取一些相关视频和一些不相关的视频提交给系统；

3).最后系统根据这些反馈的信息构造一个新的预测准则，并根据这个准则重新返回一个搜索结果列表。

事实上，最新的交互式搜索技术将用户与系统的交互过程看作机器学习的过程。也就是说，从用户提供的标注信息中学习一个新的检索函数，用这函数来进行新的搜索，以期为用户提供满意的搜索服务。尽管这类基于机器学习理论的交互式搜索方法很多，但大部分方案是基于监督学习的，即学习一个分类器所需的大量样本完全依靠用户的标注反馈。为了尽可能准的预测用户的查询意图，这些交互式搜索技术都要求用户尽可能多的标注正例样本和负例样本。通常，由于初始搜索结果一般都比较差，所以标注正例样本往往需要对初始搜索列表进行深度浏览，这极大地增加了用户负担，也阻碍了此项技术的推广使用。

这大大增加了用户的搜索负担，而很少用户愿意为此花费大量的时间。

正如以上所述，好的交互式搜索技术可以有效地提高搜索精度，为用户提供满意的搜索结果，并且可以根据不同的用户反馈来提供不同的搜索结果，从而实现用户的个性化搜索。作为一种很有前途的技术，它有着广阔的市场前景，这是毋庸置疑的。同时也看到，当前大部分可用的交互式搜索技术都是基于监督学习方法的，也就是说，新的检索函数的重构完全依赖于用户标注。

发明内容