[发明专利]基于多分支网络的空间环境高动态范围成像方法

说明书

本发明提供了一种基于多分支网络的空间环境高动态范围成像方法，输入存在一定运动与噪声的多帧低动态图像，经过网络处理后输出无鬼影、不含噪声的高质量高动态图像，基于深度学习的多帧高动态范围成像方法通过神经网络提取图像特征，最终生成无鬼影、无噪声的高动态范围图像。本发明解决了现有的主流高动态成像方法仍然存在的诸多技术难题，比如无法完全消除运动图像造成的鬼影，处理时忽视了图像中存在的噪声，在处理空间图像时效果不佳等问题，使网络可以处理不同区域的亮度和噪声分布，具有空域变换性，在通道维度强化有效特征，抑制存在运动目标、细节缺失的低质量区域特征，进而获得更好的去鬼影效果。

技术领域

本发明涉及数字图像处理技术领域，涉及一种高动态范围成像方法，具体是一种基于多分支网络的空间环境高动态范围成像方法。

背景技术

高动态范围成像可以提高图像的亮度范围，丰富图像细节，在空间环境成像任务中具有重要的价值。由于相机与目标在拍摄时均处于运动状态，且空间环境中存在强磁场、太阳风等因素干扰，导致图像序列出现一定运动与噪声，对高动态范围成像提出了挑战。文献“Wu S,Xu J,Tai Y W,et al.Deep high dynamic range imaging with largeforeground motions[C]//Proceedings of the European Conference on ComputerVision(ECCV).2018:117-132.”提出了一种基于编码-解码网络的多帧高动态范围成像方法。该方法使用编码-解码网络学习运动低动态图像序列与无鬼影高动态图像之间的映射关系，生成的图像在提升了动态范围的同时消除了目标运动造成的鬼影现象，但融合结果存在一定颜色失真现象，且无法处理图像中的噪声。文献“Chen X,Liu Y,Zhang Z,etal.Hdrunet:Single image hdr reconstruction with denoising and dequantization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2021:354-363.”提出了一种基于编码-解码网络的单帧高动态范围成像方法。该方法使用编码-解码网络同时学习图像中的亮度与噪声分布，生成了无噪声的高动态范围图像，但单帧图像中所含信息有限，因此网络估计结果缺乏真实性。

发明内容

为了克服现有技术的不足，本发明提供一种基于多分支网络的空间环境高动态范围成像方法。针对现有的主流高动态成像方法无法完全消除运动图像造成的鬼影，处理时忽视了图像中存在的噪声，在处理空间图像时效果不佳等问题，本专利提出基于多分支网络的空间环境高动态范围成像方法，输入存在一定运动与噪声的多帧低动态图像，经过网络处理后输出无鬼影、不含噪声的高质量高动态图像。基于深度学习的多帧高动态范围成像方法通过神经网络提取图像特征，若将图像或对应特征直接堆叠后输入融合网络，在网络的早期就引入了鬼影区域，导致融合结果中鬼影难以去除。另外，训练后的网络会在图像各区域应用统一的处理策略，但真实图像中不同亮度区域的噪声分布是不同的。本发明公开了一种基于多分支网络的空间环境高动态范围成像方法。该方法使用编码-解码网络实现动态范围的融合，并引入挤压-激励模块去除图像鬼影；同时，利用参考图像在子网络分支生成条件映射图与权重图，指导融合网络去除不同区域噪声并提高高亮极暗区域融合效果，最终生成无鬼影、无噪声的高动态范围图像。基于这种多分支网络结构设计，本方法在通道维度对图像有效特征进行了强化，从而在网络初期就抑制了潜在的鬼影特征；另外，相比于一般多帧高动态范围成像方法，本方法在子网络分支中学习了图像中不同区域的噪声分布，生成的图像中在各区域都能有效去除噪声。

本发明解决其技术问题所采用的技术方案的具体步骤如下：

(a)仿真图像数据集构造

在不反光的黑色背景场景下，采集复杂光照仿真数据：