[发明专利]一种新闻视频故事单元关联方法

说明书

技术领域

本发明涉及多媒体信息处理技术领域关于新闻视频故事单元的关联方法，其实质是一种故事单元之间的相似关键帧识别与关联的方法，是一种能够适应多种不同来源、不同语种的新闻视频处理方法。

背景技术

随着信息技术和网络技术的快速发展，新闻视频的来源日益广泛，数量日益庞大，获取更加便捷。每时每刻都有大量来自不同国家、不同语种、不同电视台以及不同新闻网站的大量新闻视频。为方便用户随时访问自己需要的新闻信息，有必要对新闻视频进行处理、组织和标注，目前这些处理都完全依靠人工，是一项非常耗时的工作。同时，作为一种公开的情报信息来源，各国都把新闻视频的采集、处理作为获得政治、经济、军事、外交等各方面信息的一种重要手段。因此，针对新闻视频开展相关研究对于多媒体信息的组织、检索以及情报工作都具有非常重要的意义。

新闻是已经发生和正在发生的有价值事件的及时报道，新闻为用户提供的各种信息与其报道的事件内容密切相关，因此如何根据新闻事件对新闻视频数据进行有效的组织成为一个亟待研究的问题。目前按照新闻事件组织信息的方法绝大部分基于文本数据。与纯文本新闻报导相比，新闻视频除解说词外，还包括视频和音频轨迹，能够提供非常广泛的信息。当前研究通常把新闻视频结构层次化为帧-镜头-故事，其中帧与镜头主要表示事件的局部内容，单独的帧和镜头只能提供有限的语义信息；与之相比，故事单元是一个事件的完整报道，能够提供关于事件的各种语义信息，因此围绕故事单元开展新闻视频研究不仅可在语义事件的层次上实现对新闻视频的组织和管理，也可获取故事单元及其所包含的帧和镜头的各种信息，更加贴近实际应用中用户的各种需求。相关研究包括两个方面：一是故事单元的分割，二是故事单元按照新闻报道事件的关联组织。其中第一个方面目前开展的研究较多，技术也相对比较成熟。

对于第二个方面的研究，一部分研究对新闻视频进行自动语音识别，从纯文本的角度实现相似度分析。然而，对多语种视频进行语音识别、机器翻译等处理时面临一些实际问题，得到的文本语义信息可能模糊不清，甚至很难得到有价值的文本信息，因此这种方法存在很大的局限性。故事在视觉上可以看作是一组关键帧序列。在新闻视频的编辑过程中，对相同事件进行报道的故事通常包含重复或者近似的场景和对象。因此视觉特征的相似度计算成为解决问题的一种可行方法。早期部分视频检索研究使用镜头的视觉相似性来进行相似度衡量。然而基于全局特征(如：HSV颜色特征)的相似度分析方法对于分析不同来源、不同语种、不同时间的镜头相似性易于受到光照、编辑方式等各种因素的干扰。研究基于相似关键帧识别方法的故事关联研究成为当前国际研究的一个新的热点问题。故事单元关联的核心问题是相似关键帧的识别和匹配问题。其中最为相关的是香港城市大学和新加坡国立大学开展的研究，这些研究直接利用了尺度不变特征转换(Scale Invariant Feature Transform，SIFT)局部特征描述和匹配的算法，在一个静态数据库中，通过时间分割、特征聚类等操作和索引方法实现匹配速度的提高。在相似关键帧的匹配和识别过程中，首先提出了基于关键点对称性的一一对称关键点匹配方法来过滤错误匹配的关键点，这种方法虽然可以消除部分错误的匹配点，在一定程度提高分析准确率，但是在相似关键帧的识别时需要对两幅关键帧中所有关键点依次进行对称的两次遍历和匹配，增加了识别的时间；为提高相似关键帧识别的效率，在进行匹配时需要将两幅关键帧在水平和垂直方向分别进行比较，并将匹配信息进行融合分析，增加了匹配的时间，虽然可以提高识别效率，但是明显增加了处理时间。

因此这一系列研究面临图像匹配中的一些典型限制：分析速度仍然较慢，尤其是对于大容量的视频数据库来说速度限制更加明显。影响速度的原因主要有两个：(1)视频库的关键帧数量巨大，要在整个库中进行相似关键帧探测是一项费时的任务；(2)关键帧的局部关键点数量庞大，在关键帧之间进行局部关键点的一一匹配需要耗费大量时间。此外，当前国际上开展的相关研究大多直接利用了图像匹配的方法，针对新闻视频故事单元关联的特殊性开展相应研究。故事单元关联研究的特定要求有：

(1)对于故事单元关联分析而言，NDK探测的准确率是一个非常重要的问题。如果准确率不能满足要求，关联分析的结果将非常混乱。这与当前部分新闻视频检索研究中的NDK检索方法有本质的区别。

(2)索引等加速方法对于静态数据库非常有效，但是面对实际应用中动态变化的新闻视频数据库，反复建立索引是一项复杂费时的工作。虽然目前研究中采用的索引等方法可以加快数据读取的速度，但是没有在本质上解决图像匹配分析的速度问题。