[发明专利]实时视频帧预处理硬件

说明书

优先权

本申请权利要求于2010年12月2日提交的美国专利申请序列号12/959,281和2010年7月7日提交的美国临时专利申请序列号61/362,247的优先权。

背景技术

在通过数字成像系统内的图像传感器获取图像之后，典型地在设备上显示或存储之前，对图像进行处理。图1中示出了典型的图像处理链或图像处理管线或IPP。图1中示出的示例IPP包括曝光和白平衡模块2、去马赛克块、颜色校正块6、伽玛校正块8、颜色转换块10和下采样模块12。

当希望实现实时视频成像系统时，通常在使用这种IIPP时存在明显的约束，因为图像数据典型地在IPP的每一级上从存储器读取且然后在一些操作之后被写回。对于HD视频，存储器带宽经受巨大挑战。因而，希望在视频获取设备的硬件实施例中直接实现IPP的元件。这将是有利的：IPP的元件避免了在每一级处理之后向存储器写入图像数据以及读回用于每个后续IPP操作的数据的挑战。然而，它暗示着在IPP的每一级应用的方法将具有较差适应性，因为整个IPP链将在从单个图像帧输入数据之前配置。

与用在图1的一些示例块所示出的基本IPP可以提供的图像和场景分析相比，现代数字静态照相机(DSC)实现了更复杂的图像和场景分析。具体而言，图像获取设备可以检测且跟踪图像场景中的面部区域(见美国专利7,620,218、7,460,695、7,403,643、7,466,866和7,315,631以及美国公布的申请序列号2009/0263022、2010/0026833、2008/0013798、2009/0080713、2009/0196466和2009/0303342以及美国序列号12/374,040和12/572,930，它们全都转让给相同的受让人且此处通过引用而结合于此)，且这些设备可以分析和检测这些区域中的瑕疵和缺陷并动态地(on the fly)校正这些疵点(见上面的专利以及此处通过引用而结合的美国专利7,565,030和美国专利公布申请序列号2009/0179998)。诸如灰尘瑕疵或“小瑕疵”之类的全局缺陷可以被检测和校正(例如见美国专利序列号12/710,271和12/558,227以及美国专利7,206,461、7,702,236、7,295,233和7,551,800，它们全都转让给相同的受让人且此处通过引用结合于此)。可以应用面部增强。可以确定并补偿图像模糊和图像移动、平移和旋转(例如见此处通过引用而结合的7,660,478和美国专利公布申请序列号2009/0303343、2007/0296833、2008/0309769、2008/0231713和2007/0269108以及WO/2008/131438)。面部区域可以被识别且与已知人相关联(例如见此处通过引用而结合的美国专利7,567,068、7,515,740和7,715,597和US2010/0066822、US2008/0219517和US2009/0238419以及美国专利序列号12/437,464)。所有这些技术和其他技术(例如见美国专利6,407,777、7,587,085、7,599,577、7,469,071、7,336,821、7,606,417和2009/0273685、2007/0201725、2008/0292193、2008/0175481、2008/0309770、2009/0167893、2009/0080796、2009/0189998、2009/0189997、2009/0185753、2009/0244296、2009/0190803、2009/0179999以及美国专利申请序列号12/636,647，它们全都转让给相同的受让人且此处通过引用而结合于此)依赖于对图像场景的分析。典型地，这涉及从存储器存储装置(memory store)读取图像数据块且接着是该数据的各种处理阶段。中间数据结构可以临时存储在图像存储装置中以方便每个场景分析算法。在一些情况中，这些数据专用于单个算法，而在其他情况中，数据结构可以在若干不同场景分析算法上保持。在这些情况中，图像数据在图像存储器存储装置和CPU之间移动以执行各种图像处理操作。在应用多个算法的情况中，图像数据典型地被读取若干次，以针对每个图像执行不同的图像和场景处理操作。