[发明专利]一种基于注意力生成对抗网络的多曝光图像融合方法

说明书

本发明提出了一种基于注意力生成对抗网络的多曝光图像融合方法。注意力机制的思想与多曝光融合中的细节加权问题高度匹配，可以应用通道注意力自适应选择各个输入图像的权重，用空间注意来自适应的选择不同空间位置的权重。该技术在各种多媒体视觉领域都有广泛的应用前景。所述算法设计了一种新的注意力生成对抗网络用于多曝光图像融合任务，通过将视觉注意力机制引入到生成网络，能够帮助网络自适应地学习不同输入图像以及不同空间位置的权重，来实现更好的融合效果。

技术领域

本发明属于数字图像/视频信号处理领域，特别涉及一种基于注意力生成对抗网络的多曝光图像融合方法。

背景技术

随着计算机和多媒体技术的发展，各种多媒体应用都对高质量图像提出了广泛的需求。高质量的图像能够提供丰富的信息和真实的视觉感受。然而，在图像获取过程中，受到图像采集设备、采集环境、噪声等因素的影响，在显示终端呈现的图像往往是低质量的图像。因此，如何通过低质量图像重建高质量的图像，一直都是图像处理领域面临的一个挑战。

从明亮的阳光到昏暗的星光，自然场景中的照明强度可以跨越非常大的动态范围，亮度对比度可超过14个数量级。普通数字摄像机只能在每个颜色通道上捕获8位图像。现有图像亮度级别与自然景物亮度动态范围不匹配。有限的亮度动态范围使得数字图像对高对比度自然场景的展现能力受限，会出现亮区域曝光过度或暗区域曝光不足问题。增强图像亮度动态范围可有效提高图像对高对比度场景的表现能力，提高图像视觉质量。

各种多媒体应用都对高动态范围图像和视频提出了广泛的需求。如网络视频公司希望通过提高视频的动态范围来提高视频内容的主观质量，手机厂商会以相机的高动态范围内容拍摄性能作为卖点宣传。可见，高动态范围图像在视觉媒体领域有广泛的应用需求和重要的商业价值。

针对图像的动态范围增强问题，多重曝光融合方法通过融合不同曝光图像的细节信息，生成细节增强的高动态范围图像。其中，如何从曝光不同的图像中选择细节信息是一个具有挑战的问题。

通过快速扫描全局图像，人类视觉系统可以获取需要聚焦的目标区域(通常称为关注焦点)，然后将更多的注意力资源投入该区域以获得焦点区域更多的细节信息。这是人类用有限的资源从大量信息中快速筛选出高价值信息的一种能力。人类的视觉注意力极大地提高了视觉信息处理的效率和准确性。

受人类视觉注意力启发，注意力机制的概念被引入到了深度学习中。近年来，基于深度学习的方法在许多计算机视觉任务和一些低层图像处理问题中取得了巨大的成功。其中，注意力机制已经成为各种应用中发挥作用。我们观察发现，注意力机制适用于解决多曝光融合问题，可以利用注意力机制来自适应的选择权重。

本发明提出了一种基于注意力生成对抗网络的多曝光图像融合方法。注意力机制的思想与多曝光融合中的细节加权问题高度匹配，可以应用通道注意力自适应选择各个输入图像的权重，用空间注意来自适应的选择不同空间位置的权重。该技术在各种多媒体视觉领域都有广泛的应用前景。

发明内容

本发明的目的在于克服现有多曝光图像融合方法依赖于人工定义融合权重的计算方式不同，针对基于多曝光图像融合方法的图像动态范围增强问题，提供了一个基于注意力生成对抗网络的多曝光融合方法，该生成对抗网络可以利用通道注意力机制自适应地决定每个输入的权重，利用空间注意力机制自适应的决定任意空间位置的权重，实现数据驱动的自适应端到端多曝光图像融合。

本发明是采用以下技术手段实现的：

一种基于注意力生成对抗网络的多曝光图像融合方法。该方法采用生成对抗网络框架，首先，多幅不同曝光的图像通过融入注意力机制的生成网络得到多曝光融合图像；然后，将融合图像与目标Ground-truth图像送入判别网络进行判断，在生成网络和判别网络的相互博弈中，训练得到细节和动态范围增强的多曝光融合生成网络。该方法的整体网络如附图1所示，分为两部分：生成网络和判别网络，具体生成网络如附图2所示。