[发明专利]一种具有LED闪烁补偿功能的多重曝光图像融合方法和系统

说明书

本发明公开了一种具有LED闪烁补偿功能的多重曝光图像融合方法和系统，所述系统包括：图像传感器单元，接口单元、行缓冲单元、融合单元和输出单元；该方法和系统不需要LFM图像传感器，而使用常规图像传感器，通过融合处理过程补偿LED闪烁，提升了图像实时性，降低了硬件成本，处理过程只需要少量行缓存，并且可以直接在Bayer格式数据上进行处理，减少了系统延迟，降低了存储开销，可方便地扩展到各种可编程器件及专用集成电路。

技术领域

本发明公开了一种涉及图像处理技术领域，更具体为一种具有LED闪烁补偿功能的多重曝光图像融合方法和系统。

背景技术

发光二极管(以下简称LED) 因具有节能、环保、安全、低功耗和高亮度等特点，已广泛应用于各种日常照明、交通指示灯、汽车前照灯、道路照明等领域。LED调光使用脉宽调制方式，日常场景中LED发光具有周期性，即闪烁，周期在至秒之间不等，目前全球各地也没有形成统一的标准。人眼由于存在视觉暂留的特性，几乎不受LED闪烁的影响。

在人类的日常生活场景中，如高亮的汽车LED前照灯出现在极暗的夜晚下，同一场景不同区域的亮度变化范围超过8个数量级，即动态范围大于160dB。人眼由于经过长期进化能够适应6个数量级以上的亮度变化，即动态范围高于120dB。图像传感器单次曝光只能提供70dB左右的动态范围，远远不能满足反映和记录真实世界中高动态场景的需求，因此通过多重曝光的方法，用较长曝光记录场景中光线较暗的区域，用较短曝光记录场景中光线较强的区域，通过图像融合，能够提供100～144dB的动态范围，更好地反映和记录真实世界场景中的亮度信息。

现有技术中，为提供不亚于人眼的动态范围，常规图像传感器在同一时间以行交替的方式进行多重曝光，最长的曝光时间可达秒，最短的曝光时间可在秒以下，短曝光时间已远远小于LED发光的周期，因而在融合的图像中能够看到LED照明区域出现闪烁和亮度的滚动，一方面令使用者觉得不适，另一方面不能正确反映和记录交通信号灯及其它LED照明区域的真实状态，会对汽车安全和自动驾驶等应用构成致命的威胁。为改善LED闪烁问题，一般通过改进图像传感器的曝光时序，把较短的曝光时间打散，均匀分布在较长的周期中，以减弱LED闪烁的效应，这种技术称为LED闪烁消减（以下简称LFM）。

现有技术中,所述行交替多重曝光融合方法的不足之处是会受到不确定周期的LED闪烁干扰，造成使用者视觉不适及交通信号灯识别错误等。

现有技术中,所述LFM的不足之处是延长了每次曝光的操作时间，使多重曝光之间的延时增加，最终导致图像实时性下降和动态范围减小等。

现有技术中,所述LFM另一个不足之处是延长了单次曝光的操作时间，为采用多重曝光提升动态范围，处理系统必需缓存的图像数据大幅增加，造成系统开销和成本上升。

发明内容

本发明所要解决的技术问题是提供一种复杂度低、运算量小、适用于常规的图像传感器、成本低的具有LED闪烁补偿功能的多重曝光图像融合方法和系统。

本发明解决上述技术问题所采取的技术方案如下：

一种具有LED闪烁补偿功能的多重曝光图像融合方法，包括如下步骤：

S1：以行为单位，从输入获取两组原始图像数据和；

S2：从输入原始数据和中提取亮度信息和；所述输入图像数据可来自于行缓存单元，也可来自于上一级融合单元的输出；

S3：根据所述亮度信息，计算中每个像素的融合权重系数；

S4：根据亮度信息和，计算反映每个位置发生LED闪烁严重程度的参考值；

S5：根据参考值，计算LED闪烁补偿系数：

S6：根据融合权重系数和LED闪烁补偿系数，计算每个像素的融合值，得到最终输出图像。