[发明专利]基于深度感知增强的多曝光图像融合方法

说明书

本发明公开了一种基于深度感知增强的多曝光图像融合方法，首先提出一种图像的双向对比度增强策略，对各源图像进行增强处理，获得一系列细节增强的参考图像。构建细节增强网络DEM，并设计损失函数，将各参考图像依据信息丰富度加权作为优化目标，对细节增强网络进行训练，从而得到包含丰富细节的融合亮度。构建颜色增强网络CEM，并设计损失函数，使其学习到不同场景下颜色关于亮度的映射关系，从而实现为融合亮度渲染颜色。两网络分别生成亮度和颜色分量，共同完成融合图像的生成。利用本发明得到的多曝光融合图像不仅具有丰富的细节信息和良好的全局结构一致性，还具有相较已有方法更加真实、生动的颜色信息，显著提高图像视觉质量。

技术领域

本发明涉及一种计算机图像处理方法，尤其涉及一种图像融合、HDR图像生成方法。

背景技术

在用手机或相机拍摄图像时，常常会遇到一个状况：无论怎样调节曝光时间和光圈大 小等参数都很难拍摄出一张最优曝光图像。即便图像整体处于较好的曝光度，也总会有一 部分区域处于过曝或欠曝的状态。这是由于自然场景下的动态范围往往远远大于消费级相 机所能记录的动态范围，因而单张拍摄的低动态范围(LDR)图像只能记录有限动态范围 的信息，无法全面地还原场景的全部信息。为了全面记录场景、获取高质量图像，高动态 范围(HDR)成像技术应运而生。高动态范围成像技术的实现一般分为两类：一类是通过专业的HDR成像设备来直接获取，而这种方法对硬件要求极高，应用范围较窄；另一类即 通过软件算法实现，多曝光图像融合即为其中十分有效的一种方案。而且，图像融合的过 程无需专业设备的支持和如相机响应函数估计等额外的专业知识，可应用于手机等普通成像设备，算法操作简单直接，易于使用。

现有的多曝光图像融合方法往往需要比较长的不同曝光图像序列来完整覆盖被摄场景 的动态范围，且只在各图像间曝光差异较小时才能生成效果较好的融合图像。这在很大程 度上限制了算法的适用范围，因为实际应用时，可能是对已有的图像进行融合，而已有源 图像序列可能张数很少，甚至只有不同曝光的两张图像；即使是在实时拍摄图像时，拍摄 绵密而冗长的曝光序列也是一种效率很低的实现方式，它会显著增加存储空间的占用、使 拍摄和处理的时间明显变长，更重要的是，较长的拍摄时间下，被摄场景内的物体可能产 生明显的移动，从而导致融合图像内出现伪影，严重影响图像质量。此外，由于现有方法 往往仅考虑融合图像的结构和细节信息，缺乏针对提升视觉观感的考虑，容易使得融合图 像出现颜色苍白等问题。

多曝光图像融合领域已经在过去的几十年里得到了广泛的关注和发展。领域内的很多 工作，尤其是较早期的工作，主要基于传统机器方法实现。传统方法主要可以细分为空间 域方法[1][2]和变换域方法[3][4]等。传统方法由于依靠手工设计特征和融合策略，其特征提 取和整合能力往往相对有限，因而对不同场景的鲁棒性相对较差，并且一般需要较长且间 隔较小的多曝光序列才能产生较好的融合效果。当源图像曝光差异较大、数量较少时，其 融合结果的质量会显著下降，并且容易出现明显的视觉伪影。

近些年来，随着深度神经网络的发展和广泛应用，基于深度学习的方法逐渐成为多曝 光融合领域的主流，有非常多新的优秀工作涌现出来。基于深度学习的方法主要可分为无 监督方法和有监督方法两类。无监督的多曝光融合方法主要依靠设计或选取无监督的图像 质量评价指标[5][6]作为损失函数，或利用亮度、梯度等图像固有属性来衡量图像的信息丰 富程度[7][8]，以进行网络的训练优化。现有工作的问题在于，选取的图像评价指标不能以 完整反映图像质量，因而约束能力有限，不足以约束网络实现高质量融合；另外现有方法 往往在源图像自身的尺度下进行特征的提取和度量，并未充分利用源图像的全部信息。有 监督方法一般通过选取已有多曝光融合方法中最优的融合结果作为参考图像的方式，将多 曝光融合问题转换为一个有监督问题，以便进行网络的学习与优化[9]。但这样的操作会导 致方法的性能受到已有方法的约束，即上界也仅为现有方法的最优结果。另外，这种方式 将图像融合从图像增强问题转化成了图像恢复问题，事实上偏离了图像融合的本质。