[发明专利]基于深度估计的欠曝光LDR图像重建HDR图像

说明书

数码相机只能在有限的范围内捕捉真实场景的亮度。由于摄像机传感器的量化和饱和，高动态范围(HDR)数据中存在的纹理细节丢失，给后续基于图像的应用(深度估计等)带来了很大的困难。作为HDR图像重建效果的一个指标，LDR图像中反射的不正确色调引起的深度估计误差可以支持提高HDR图像生成网络的学习效率。因此，我们提出了一种由两个连接的CNN组成的端到端框架，用于HDR图像重建中最关键的问题。通过对基准和最近发布的具有挑战性的数据集进行大量的定量和定性实验，证明与最新的单图像HDR重建和深度估计算法相比，所提出的方法实现了非凡的性能。

技术领域

本发明涉及HDR图像的重建技术，将深度估计引入到图像重建的模型中，整个网络以无监督的学习方式，优于其他HDR图像重建方法。

背景技术

数码相机只能在有限的范围内捕捉真实场景的亮度。由于摄像机传感器的量化和饱和，高动态范围(HDR)数据中存在的纹理细节丢失，给后续基于图像的应用(深度估计等)带来了很大的困。一幅具有适当亮度和色调的图像是估计场景深度的关键，与现有的基于学习的方法不同，本文提出的方法将深度估计引入到HDR图像重建的学习模型中，相互促进。作为HDR图像重建效果的一个指标，LDR图像中的不正确色调引起的深度估计误差可以支持提高HDR图像重建网络的学习效率。另一方面，良好的HDR图像也可以提高深度估计精度。因此，我们提出了一个由两个连接的CNN组成的端到端框架，用于HDR图像重建和深度估计。由于欠曝光图像是HDR图像重建中最关键的问题，本文主要研究由欠曝光LDR图像重建HDR图像。通过对基准和最近发布的具有挑战性的数据集进行大量的定量和定性实验，证明与最新的单图像HDR重建和深度估计算法相比，所提出的方法实现了非凡的性能。

目前，HDR图像重建技术得到了广泛的应用。HDR图像通常包含更多的纹理信息，能够给人类带来更好的视觉体验，因此被广泛应用于摄影、基于物理的渲染、计算机游戏、电影、医学和工业成像等领域。由于数字高分辨率相机通常非常昂贵，从传统数码相机捕获的图像生成高分辨率图像的高分辨率图像重建算法己成为高分辨率成像的一种常用方法。鉴于高分辨率成像可以在极暗和极亮区域保留细节，它有很大的潜力来帮助各种任务，特别是深度估计，它依赖于精确的颜色和强度信息来探索像素空间关系来估计深度，而曝光正常的LDR图像的深度误差要小得多。曝光不足的LDR图像通常噪声大，导致光照信息丢失，不利于有效特征的提取。相比之下，HDR保留了丰富的纹理和颜色信息。直观地说，在黑暗的环境中，人类无法精确地估计场景的深度。受计算机视觉和人眼视觉在不同光照条件下的深度估计性能的启发，为了更好地获取被曝光区域的深度信息，我们可以利用HDR技术来解决被曝光区域的深度信息不足问题，从而恢复丢失的深度信息，从而减少深度估计的误差，也有利于HDR图像的重建。

逆色调映射可以恢复因曝光不足/曝光过度和颜色量化而丢失的信息。最常用的方法是将传统相机产生的一系列不同曝光时间的低动态范围(LDR)图像进行融合或直接学习单个LDR到HDR的映射，生成HDR图像，虽然这些方法重建的HDR图像可以满足视觉要求，在许多应用中，它们不能反映令人满意的结果。

发明内容

本发明提出一种有效的方法由欠曝光的LDR图像重建HDR图像以及相应的深度图。首先将HDR重建与深度估计相结合，解决了HDR重建问题。与大多数其他方法接受正常曝光图像作为输入相比，本文的过曝光模型网络以曝光不足的LDR图像作为输入来生成不同曝光度的LDR图像；与大多数重建HDR图像的方法相比，本文的学习框架是无需HDR图像作为ground-truth，并以深度损失为约束条件对HDR重建网络进行训练。

具体实施方式

本发明将HDR重建的知识和深度估计相结合来设计模型。本发明的核心思路是将深度估计融入到HDR图像重建模型中，并开发两个相连的深度神经网络来解决每个任务。具体步骤如下：

第一步是HDR重建网络。