[发明专利]增强数字图像中对象的可见性的系统和方法

说明书

相关申请的交叉参考

本申请要求于2008年4月11日提交的题为“PROCESSINGIMAGES HAVING OBJECTS”的美国临时专利申请序号No.61/123844(代理公司案号PU080054)的权益，其全部内容通过引用合并于此。

技术领域

本发明总体上涉及数字图像的传输，具体地，涉及数字图像中感兴趣对象的可见性的增强，尤其是在具有低分辨率、低比特率视频编码的单元中显示的数字图像。

背景技术

越来越需要向诸如蜂窝电话和PDA之类的手持设备传递视频内容。由于屏幕尺寸小，有限的带宽以及有限的解码器端处理能力，以低比特率和低分辨率来编码视频。低分辨率、低比特率视频编码的一个主要问题在于，对于感知到的视频质量的至关重要的对象劣化和丢失。例如，观看足球比赛或网球比赛的视频剪辑如果球不清楚可见，则是令人烦恼的。

发明内容

因此，期望加亮感兴趣对象，以提高低分辨率、低比特率视频的主观视觉质量。在本发明的各种实现方式中，给定图像中对象的近似位置和尺寸的情况下，增强了数字图像中感兴趣对象的可见性。或者在细化对象的近似位置和尺寸之后，增强对象的可见性。对象增强提供了至少两个优点。首先，对象增强使得更容易看到和跟随对象，从而提高用户体验。第二，对象增强在编码(即，压缩)阶段期间有助于对象保持较少劣化。本发明的一个主要应用是：向诸如蜂窝电话和PDA之类的手持设备传递视频，但是本发明的特征、构思、以及实现方式对于例如包括通过互联网协议的视频(低比特率、标清内容)的各种其他应用、上下文以及环境也是有用的。

本发明提供了：加亮视频中的感兴趣对象，以提高低分辨率、低比特率视频的主观视觉质量。本发明的系统和方法能够处理不同特性的对象，并且以全自动、半自动(即，手动辅助)、以及全手动模式进行操作。可以在预处理阶段(即，在视频编码阶段之前或期间)或者在后处理阶段(即，在视频解码阶段之后)执行对象的增强。

根据本发明，通过以下操作来增强数字图像中对象的可见性：提供包含对象在内的输入视频；存储代表对象的属性和特性的信息；以及响应于视频输入以及代表对象的属性和特性的信息，产生对对象进行识别和定位的对象定位信息。响应于对象定位信息，根据输入视频产生输入视频中包含对象的那部分以及对象所处的区域的增强视频，并且对增强视频进行编码。

附图说明

图1是用于增强根据本发明构造的数字视频中对象的可见性的系统的优选实施例的框图。

图2示出了图1系统所提供的近似对象定位。

图3A至图3D示出了根据本发明的对象增强的工作流。

图4是根据本发明实施例的用于对象边界估计算法的流程图，该对象边界估计算法可以用于细化对象识别信息和对象位置信息。

图5A至5D示出了根据本发明的、任意形状对象的边界的水平集估计的构思的实现方式。

图6是根据本发明的对象放大算法的流程图。

图7A至7C示出了三种可能的16×16宏块再划分，这用于说明编码阶段期间的对象识别信息和对象位置信息的细化。

具体实施方式

参照图1，根据本发明构造的对象增强系统可以涵盖发射机10中的所有组件，或者对象增强组件可以在接收机20中。在可以执行对象加亮的处理链中有三个阶段：(1)预处理，在编码(即，压缩)阶段之前在发射机10中增强对象；(2)编码，通过与对象及其位置有关的信息的细化，在发射机10中对包含对象在内的感兴趣区域给予特殊处理；以及(3)后处理，在解码之后，通过作为元数据的比特流，利用从发射机10传输的与对象及其位置有关的辅助信息，在接收机20处增强对象。根据本发明构建的对象增强系统可以被布置为在上述阶段的仅一个阶段中、或在上述阶段的两个阶段中，或在上述全部三个阶段中提供对象加亮。

用于增强数字图像中对象的可见性的图1系统包括：用于提供包含感兴趣对象的输入视频的装置。包含要增强其可见性的对象在内的数字图像的源可以是传统结构和操作的电视摄像机，并且由箭头12表示。