[发明专利]闪光检测

说明书

技术领域

本发明涉及一种用于处理信号的方法和系统。该处理提供闪光检测且其输出能够被用于改进内容分析算法。

背景技术

看电视和从事包括视觉内容的其他活动诸如观看DVD都是人们常做的事情。与观看这种视频内容有关联的用户体验将在未来发生改变。例如在飞利浦(Philips)的电视机产品中已经可以看到最初的迹象，其中增添了灯具以增加看电视的体验。为了增强诸如看电影那样的娱乐体验而添加另外的设备和其他的功能的这个处理正在增长。通过将脚本与原始音频/视觉内容一起播放，“amBX”这个企业(参见例如，www.ambx.com)正在准备接下来的步骤以更进一步地增加诸如看电视那样的体验，所述脚本包括能够使用适当的增强系统来提供给用户的效果描述。在用户娱乐空间中的另外的设备为视频内容提供增强。

例如，美国专利申请公开US2002169817公开了包括一组设备的真实世界展示系统，每个设备都被设置成提供一个或多个真实世界参数，例如音频和视觉特性。至少一个设备被设置成接收标记语言指令集形式的真实世界描述并且根据该描述来操作这些设备。通过本地服务器或分布式浏览器来解释在该语言中表达的通用术语，以操作这些设备来为用户呈现真实世界的体验。通过这种方式，被用于控制其他设备的脚本就随着递送原始内容的电视一起被递送了。

但是，必须要编写能够被用于在其他设备中创建其他效果的脚本。为了辅助编写过程，许多应用使用内容分析来使该过程自动化以避免手动地进行。关于例如amBX脚本的内容创建，得到良好训练的编写者逐帧浏览电影并选择他们想要开始/停止光显示的特定帧。这个光的颜色与视频序列中的某些事物(背景、爆炸、物体)相适应。

为了创建电影的amBX脚本，许多时间都花在了准确地确定视频中的时间位置和在特定的时间场合匹配被用于创建光效的颜色。内容分析能够为脚本编写者提供更大帮助。例如，镜头切换能够被自动地检测到以为编写者提供光可能发生改变的时间位置。此外能够为镜头或被采样帧的选集中的每个帧提取主色，从所述主色中能够提出一组将与特定镜头或时间间隔中的颜色相匹配的颜色。后者的例子可以是使用MPEG 7主色描述器，该描述器为一帧给出多达八种颜色。为了确定这种(MPEG 7主色)描述器的平均值，可以使用在发明人为Marc A.Peters，Pedro M.F.S.Fonseca、名称为“Dominant color descriptors”的专利申请PH006244(ID685945)中提出的方法。当然还能使用用于选择颜色的其他方法，例如直方图。

已经知道的是，视频序列中的闪光能够影响任何内容分析过程的结果。闪光的现象能够生成错误的镜头切换，而且它能够非常强烈地影响出现闪光的特定帧的颜色，给出任何颜色分析的不正确的结果，这些颜色是相关联的。尤其是对于特定类型的内容，例如带有许多爆炸的动作电影，或者带有许多摇曳灯光的电影，内容分析过程的结果能够与脚本编写者期望的相去甚远。通过与视频内容中的闪光准确对应的分析算法将生成镜头切换。

为了解决这个已知的问题，美国专利5642294描述了一种基于比较帧间强度差的镜头切换检测方法。这份文档描述了声称要杜绝将视频中的闪光作为切换的错误检测的可能性的系统。假设包括闪光的图像数据序列是由图像A，B，*，D，E，...组成的并且由于闪光的原因图像*比其他图像A，B，D和E更亮，图像A和B之间的距离d(A，B)很小，但是由于图像*的强度等级比图像B和D的强度等级要高，所以距离d(B，*)和d(*，D)具有较大的值。一些惯用方法根据距离d(B，*)是否大于某个阈值来决定切换点，并因此具有将闪光错误地检测为切换点的缺点。距离d(B，*)在切换点处也很大，但是闪光的特征就是距离d(*，D)具有较大的值；这个特性的使用将允许在切换点和闪光之间加以区分，并因此将防止对切换点的误识别。

但是，这种方法有一些缺陷。首先，闪光不一定仅在单个帧显现，在许多情况下需要两或三帧来逐渐增加(或减少)到光源/从光源逐渐增加(或减少)。帧间强度的变化单独来看不一定是特别大的。其次，当考虑各帧之间的运动问题时，这份文档的原理，如上所述，就不再有效了。这是因为在闪光之后，所述帧就被作为已经返回到该闪光之前的状态来处理。但对于一些显著的运动而言情况就不是这样了。确实，当考虑到闪光能够持续比一帧更长的时候，这个问题将变得更严重，因为累积的运动将产生更大的影响。再次，在这份文档中的闪光检测是基于带有闪光的帧是更亮的帧这个概念的。当然这不总是正确的。例如，简单地拿个漂亮的白色背景并且在其上闪烁深蓝色的光。该图像帧将不会变得更亮，但那里已经出现了闪光。