[发明专利]一种在Bayer数据域实现HDR的图像处理的方法和系统

说明书

本发明公开了一种基于可编程处理器芯片和HDR Sensor实现在Bayer数据域进行HDR图像合成、色调变换和位宽压缩的图像处理方法和系统，所述系统HDR Sensor单元，IO接口单元A、IO接口单元和B、FIFO单元和HDR处理单元；由于系统采用行内交错曝光的采样方式，HDR处理单元不需要缓存完整一帧数据，只需要缓存少数几行像素就可以开始HDR处理，降低了系统延迟，降低了存储开销。由于本系统和方法去除了图像处理系统对ISP功能中HDR特性的依赖，所以不支持HDR功能的ISP芯片也可以用于构建具备HDR效果的图像处理系统，从而使构建HDR效果的图像处理系统的方案选型更加灵活便利。

技术领域

本发明涉及图像处理技术领域，更具体地说，它涉及一种基于可编程处理器芯片实现在Bayer数据域进行HDR图像合成和色调映射的方法和系统。

背景技术

在人类的日常生活场景中，从刺目的阳光到极暗的星光，环境亮度的变化范围超过8个数量级，即动态范围大于160dB。人眼由于经过长期进化能够适5～6个数量级的亮度变化，即动态范围达到100～120dB。普通的CMOS Sensor(以下简称Sensor)只能提供60dB左右的动态范围，远远不能满足记录真实世界中高动态场景的需求，因此称为LDR(LowDynamic Range)Sensor。目前能够提供HDR(High Dynamic Range)即高动态范围的Sensor可以提供100～120dB的动态范围，能够更好地记录真实世界场景中的亮度信息。

由于常见的数字图像显示设备通常只支持256个亮度级，并不能直接显示HDR图像，因此在图像显示之前的某个阶段需要对HDR图像进行动态范围压缩以适应显示设备的能力。局部色调映射(Local Tone Mapping)是一类效果比较好的动态范围压缩算法，已经得到了广泛的研究和应用，不足之处是此类算法复杂度通常较高，运算量较大，消耗资源很大。

有多种不同的原理可以实现HDR Sensor，其中一种HDR实现方式是采用行内交错长短曝光的方法，即Line-based Staggered HDR方法，采用所述方法的HDR Sensor以行为单位输出像素数据，通常是位宽为10比特或12比特的Bayer格式数据，每行中先后输出两组数据，分别对应长、短两种不同曝光量下采集的像素值。

包括所述行内交错长短曝光方法在内的各种HDR实现方法都需要在Sensor后端搭配某种形式的ISP(Signal Processor)即图像信号处理器，在所述ISP内部完成高动态范围图像的合成处理。

在现有技术中，ISP内部通常是以流水线方式对图像进行HDR合成处理。一种典型的流水线是将HDR Sensor输出的Bayer格式图像根据曝光量不同分离成两帧分别存储，等缓存到足够多的数据后分别进行Bayer2RGB及RGB2YUV转换得到YUV格式图像，然后对两帧YUV图像进行HDR合成得到一帧高动态图像，最后进行YUV2RGB转换得到RGB格式的图像。

现有技术中，所述流水线方法存在的不足之处是色彩空间变换操作的环节较多，由于存在大量的浮点数运算，每次操作都会引入一些精度误差并影响最终的HDR处理效果。

现有技术中，另外一个不足之处是由于操作步骤多，系统资源开销(芯片面积、功耗等)很大，增加了系统实施的成本。

现有技术中，另外一个不足之处是出于控制系统成本的需要，常常选用运算相对简单的色调映射方法，而较少选用效果更好但是复杂度较高、运算量较大的色调映射方法。

现有技术中，另外一个不足之处是ISP需要等到两帧图像全部缓存到存储器之后才能开始HDR合成处理，因此系统延迟较大，不适合有低延迟需求的应用场合。

现有技术中，另外一个不足之处是如果ISP不支持HDR功能则无法与HDR Sensor配合得到HDR图像。

发明内容