[发明专利]一种基于全卷积神经网络的立体高动态范围成像方法

说明书

本发明公开了一种基于全卷积神经网络的立体高动态范围成像方法，其利用曝光校准网络将左视点欠曝光图像和右视点过曝光图像转换到同一曝光下；基于估计的视差图，分别对左视点欠曝光图像和右视点过曝光图像执行前向绘制产生绘制右视点欠曝光图像和绘制左视点过曝光图像；引入额外曝光信息来指导绘制产生的图像中的空洞填补；利用HDR图像融合网络提取融合特征，将空洞填补后的左视点过曝光图像与原始左视点欠曝光图像融合为左视点HDR图像，并将空洞填补后的右视点欠曝光图像与原始右视点过曝光图像融合为右视点HDR图像；进而得到立体HDR图像；优点是能提高原始立体LDR图像的动态范围，并能重建出在原始立体LDR图像的曝光不足和曝光过度区域的细节信息。

技术领域

本发明涉及一种立体高动态范围成像方法，尤其是涉及一种基于全卷积神经网络的立体高动态范围成像方法。

背景技术

随着三维(Three-dimensional，3D)成像技术和显示设备的快速发展，越来越多的立体图像进入了人们的生活，包括3D电影、3D游戏等等。但是，现有的大部分立体相机(立体LDR相机)只能捕获自然场景的有限动态范围(如常见的8bit图像，其动态范围小于3个数量级)，这不可避免地造成了捕获的立体图像会在局部出现曝光不足或曝光过度的现象。通过融合一系列根据不同曝光量捕获的低动态范围(Low dynamic range，LDR)图像来重建自然场景的动态范围的高动态范围(High dynamic range，HDR)成像技术能够有效解决这个问题。将HDR成像技术与立体相机进行结合，称为立体高动态范围成像(Stereo HDR imaging，SHDRI)，其可以为用户提供更高质量的双目体验。

现有的SHDRI方法可以分为两类。第一类方法是采用立体相机捕获立体LDR图像，然后利用后期算法生成立体HDR图像。第二类方法是采用LDR-HDR相机对(即LDR相机和HDR相机)分别捕获LDR图像和HDR图像，再基于捕获的HDR图像的内容来扩展捕获的LDR图像的动态范围。由于HDR相机需要配备特定的光学系统或图像传感器，所以通常是需要定制的，然而目前消费级的HDR相机并不多见，因此第一类方法是当前最合适的SHDRI方法。Lin等人提出了基于立体相机的SHDRI框架，也是目前通用的SHDRI框架，其主要包括以下步骤：相机响应函数(Camera response function，CRF)估计，立体匹配，图像绘制，空洞填补，以及HDR图像融合，该方法的核心是利用尺度不变特征变换(Scale-invariant featuretransform，SIFT)算子来提取立体图像的匹配点以用于CRF估计，然后依据CRF将输入的立体图像校准到相同曝光下，以适应立体匹配。类似地，Park等人采用基于累积分布函数的方法提取匹配点来估计CRF，克服了SIFT算子无法保证提取到全局强度匹配点的缺点。等人则直接假定CRF是事先通过单相机多次曝光获得的。上述几种方法，由于立体相机中的传感器的饱和，因此基于CRF的曝光校准会引入量化失真而导致校准后的立体图像出现颜色伪像，特别是在立体图像的欠曝光和过曝光区域，这进而会降低后续立体匹配的性能；由于SHDRI中的图像绘制属于单向绘制，所以会在图像左边界(右视点图像绘制到左视点)或者右边界(左视点图像绘制到右视点)产生大量空洞，而这些空洞很难通过传统方法来有效填补。此外，等人和Park等人的方法在生成立体HDR图像时，仅通过设置亮度阈值以构造融合权重图，容易导致生成的立体HDR图像出现细节丢失和颜色失真等现象。Chen等人观察到SHDRI的本质是利用立体多曝光图像来分别生成左视点多曝光图像和右视点多曝光图像，因此提出了一种基于生成对抗网络(generative adversarial networks，GAN)的视点曝光传递方法，取得了较好的效果，但是该方法在本质上没有考虑立体图像的视差，所以对于一些挑战性场景，会引入模糊和鬼影伪像。

虽然目前的相关研究已经取得了较好的SHDRI效果，但是在提高生成图像的细节问题上仍存在一定的不足。

发明内容