[发明专利]用于产生视频数据流摘要的方法和设备

说明书

技术领域

本发明涉及产生视频数据流摘要以包括文本信息的表示。

背景技术

体育广播构成很大部分的电视广播。虽然当前的消费者产品(例 如HDD记录器和媒体中心PC)使用户有可能记录许多体育内容，但用 户不能容易地浏览该记录，并且不能把冗长的体育事件缩短成精华部 分，例如包括体育广播的主要事件(例如进球得分)的摘要。

为此，已经开发了许多自动体育摘要系统，例如Ekin，A.M Tekalp 和R.Mehrotra提出的“Automatic Soccer Video analysis and  summarization”，IEEE Tran.Image Processing，June 2003。基于视频 中重要事件(例如任意球，进球等等)的检测，这些系统从视频材料 中选择片段来创建比赛或体育事件的重要瞬间的概要。

在体育广播中，文本信息通常在广播期间显示，以转播信息(例 如比分)，或者可选地，可以捕获物理记分板。该信息在整个广播过 程中总是不连续地显示。这经常发生在重放和慢动作场景中。自动产 生的摘要总是包括许多重放和慢动作场景，结果是文本信息(比分) 不能在摘要回放期间显示。

然而，经常希望该信息是可用的。用户发现要理解摘要回放时脱 离它们的上下文显示的广播片段是困难的。使这样的文本信息可见将 会提高自动产生的体育摘要的感知质量。

US 2002/0126143 A1公开了一种能够有效地总结新闻视频的方法 和一种能够利用该方法实现有效的搜索和过滤的基于文章的视频浏览 系统。提供了基于文章的新闻视频内容摘要方法、浏览界面和浏览系 统，其通过使用新闻视频流的主持人关键帧、情节关键帧、合成文本 关键帧和新闻图标来总结并且浏览至少一种新闻文章。从主持人镜头 中提取主持人关键帧。从情节场景中提取情节关键帧。通过将新闻文 章中的视频帧中的重要文本总结为图像来产生合成文本帧。新闻图标 包括图像、图形元素等，它们出现在主持人镜头中，用于总结新闻文 章的内容。

发明内容

本发明旨在提供其中包括文本信息的表示的视频数据流的自动摘 要。

根据本发明一方面，这通过一种产生视频数据流摘要的方法来实 现，该方法包括以下步骤：检测显示在视频数据流中的文本信息的表 示；产生视频数据流摘要，所述摘要包括从所述视频数据流选择的多 个帧的，其中在至少一个所选择的没有文本信息的视频数据流的帧中， 合并了在先前或相继帧中检测到的文本信息。

根据本发明另一方面，这还通过一种产生视频数据流摘要的设备 来实现，所述设备包括：检测器，用于检测显示在视频数据流中的文 本信息的表示；用于产生视频数据流摘要的装置，所述摘要包括从所 述视频数据流选择的多个帧，其中在至少一个所选择的没有文本信息 的视频数据流的帧中，合并了在先前或相继帧中检测到的文本信息。

可以通过以下方法产生摘要：将检测到的文本信息合并到至少一 个其它帧中，并且选择多个帧来产生包括合并所述检测到的文本信息 的该至少一个其它帧的摘要。可选地，通过选择多个帧并且合并所述 检测到的文本信息来产生摘要。通过这种方式，摘要将自动包括显示 在不一定包括在该摘要中的帧中的信息，以便确保用户具有所有可用 信息(例如最新的比分、或比赛的各种统计信息等)。

在优选实施例中，可以识别目标对象，并且在数据(例如他们的 名字等)出现在摘要中时，可以显示所述数据。

附图说明

为了更完整地理解本发明，现在结合附图参考以下描述，其中：

图1是根据第一实施例的设备的简化示意图；

图2是根据第二实施例的设备的简化示意图。

具体实施方式