[发明专利]用于图像处理流水线的高亮恢复

说明书

用于执行高亮恢复的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。所述方法之一包括：接收图像的原始图像数据，对于图像中的多个高亮区域中的每个，原始图像数据包括高亮区域的一个或多个通道的原始通道值；处理原始图像数据以生成更新的图像数据，其中，更新的图像数据包括图像中每个高亮区域的更新通道值，并且其中，对于图像的一个或多个高亮区域中的每个，高亮区域的一个或多个更新通道值超过根据预定的数据精度的最大通道值；以及，对图像的一个或多个高亮区域的更新通道值进行色调校正过程，以生成满足预定数据精度的最终通道值。

背景技术

本说明书涉及图像处理器。图像处理器是领域特定的处理设备，其被设计来处理捕获的图像数据。

一些图像处理器具有由专用硬件实现的图像处理流水线。在本说明书中，图像处理流水线被定义为一组一个或多个组件，称为“块”，它们在图像源(例如相机)和图像呈现器(renderer)(例如，电脑或手机屏幕)之间执行任何中间数字图像处理。

一些图像处理流水线块增加图像信号的增益，即，增加图像像素数据的各个通道的值。通常，块只能将像素的增益增加到某一程度。像素隐含地具有位精度，它定义了像素数据的相应通道可以采用的最大值。当块施加的增益大于位精度允许的增益时，像素值通常被块“裁切(clip)”为等于位精度允许的最大值。这通常会导致图像质量劣化，称为“高亮裁切(highlight clipping)”，其中，图像的某些区域由于像素值被裁切而使得颜色失真。例如，如果某个区域中像素的每个通道都被裁切，则该区域可能具有统一的最大像素值，例如，通常将其呈现为完全白色的区域。

为方便起见，本说明书包含使用RGB颜色空间(即，通道包括R通道、G通道和B通道的地方)的示例。本说明书中描述的主题可以应用于任何适当的颜色空间，例如，RGrGbB颜色空间或RGBA颜色空间，仅举几个例子。

此外，为方便起见，本说明书包含涉及处理个体的像素(individual pixels)以恢复像素色调(hue)的示例。本说明书中描述的主题可以更普遍地被应用以处理高亮区域以恢复高亮区域的色调，其中，一个像素是高亮区域的示例。高亮区域的另一个示例是在滤色器阵列中以2×2网格布置的一组四个像素。在该示例中，四个像素组中的每个像素可以具有表示单一颜色的单个值，并且高亮区域的通道可以是四个像素的值。作为一个特定示例，如果已使用拜耳滤波器处理图像，则图像可以具有2×2像素网格的高亮区域。

高亮恢复是指通过在图像的裁切区域中恢复颜色信息来校正高亮裁切的技术。

在硬件中执行高亮恢复的一种技术使用颜色传播。为了执行颜色传播高亮恢复，来自尚未被裁切和与裁切区域相邻的像素的颜色值被传播到裁切区域。因此，未裁切像素的颜色值旨在“渗出(bleed over)”以校正裁切区域。

然而，在硬件中执行颜色传播高亮恢复有几个缺点。首先，颜色传播需要大容量随机存取存储器(RAM)，例如，需要将比否则所需者更大的硅晶片部署到图像处理器上。这是因为在颜色传播高亮恢复期间，图像处理器必须在存储器中保留多个像素值。特别是，传入图像数据的光栅扫描需要与在SRAM或DRAM中缓存的图像中的裁切像素相邻的未裁切像素的像素值。增加缓冲区大小又会增加硬件的大小、成本和复杂性。

其次，颜色传播对可以有效校正的区域大小有自然限制。换言之，如果裁切区域很大，则来自相邻像素的颜色信息不能可靠地用于校正大裁切区域中心的像素中的高亮裁切。

图1是执行颜色传播高亮恢复的现有技术图像信号处理器(ISP)的图像处理流水线100的框图。

ISP的输入是原始像素数据102，例如，由相机捕获的像素数据。原始像素数据102包括每个像素的一个或多个通道的值。例如，每个像素可以包括一个R通道、一个G通道和一个B通道；作为一个特定示例，像素可能具有通道值(250，120，50)。