[发明专利]一种基于密集残差型UNet的图像信息解析建模方法

说明书

本发明构建一种基于密集残差型UNet模型用于图像信息解析模型，并应用于图像恢复，具体步骤为：从原始图像中提取图像特征信息并对图像特征信息进行编码；将编码后的图像特征信息进行解码与上采样，得到基于密集残差型UNet的图像信息解析模型；实时采集图像作为数据集，并将数据集分为训练集和验证集，使用训练集数据对图像信息解析模型进行训练；使用验证集数据对图像信息解析模型进行评价。本发明建立的图像信息恢复模型具有恢复性能好，速度快，对图像信息解析度高等优点。于此同时，本发明提出的残差和密集型UNet在各项指标上都取得优异的结果，且该发明通过两种不同的基础模块可以满足不同图像信息恢复的要求。

技术领域

本发明涉及构建一种残差和密集型UNet模型用于图像信息解析、恢复，并应于与屏下相机图像恢复，医学图像恢复等领域。即给定一张退化图片，恢复成可商用可医用的清晰图像，属于低层级视觉领域。

背景技术

在移动互联网时代，越来越多的人习惯用于手机拍摄。就质量而言，大多数手机设备都可以满足本发明的日常需求。随着硬件的不断升级，屏占比越来越大，但是前置摄像头的存在不仅影响前置屏幕的美观，同时由于摄像头的放置位置一般位于屏幕的上方，极大的减小了人机交互。因此，全面屏时代必将是手机前置相机的发展趋势。因此，屏下相机应运而生。

屏下相机是一种新的成像系统，该系统将相机放在屏幕下方以增强人机交互性并带来更大的屏占比。然而由于现有屏幕透光性等其他因素导致相机所拍摄的图像出现昏暗模糊等退化现象。因此，本发明需要对屏下相机图像进行信息解析，并通过深度学习的端到端方法进行恢复。因此，本发明可以将这个任务看作低层级视觉图像恢复，并包括去噪、去模糊，等其他图像增强手段。

图像增强，即通过算法调整图像的饱和度信息，色调信息，改变图像的整体或者局部信息。例如调亮偏暗的图片，调暗偏亮的图片，调高饱和度低的图片等，使得图像看上去更加饱满生动。在屏下相机成像系统中，本发明的任务是多样性的，不仅仅是图像的调亮，还包括去噪，去摩尔纹等。因此，图像增强技术在影视制作，摄影摄像，医学图像等领域都有着广泛的应用。本发明针对屏下相机成像退化进行图像信息的恢复增强。

传统的图像增强算法有直方图均衡(HE)算法、小波变换算法、偏微分方程算法和基于色彩恒常性理论的Retinex算法等。HE算法是最基本的图像增强算法，它的原理简单，易于实现，实时性好。直方图均衡化可以使图像灰度级的概率密度函数满足近似均匀分布的形式，以增大图像灰度的动态范围和提高图像对比度；小波变换算法将图像分解为低频图像和高频图像，通过对不同频率的图像进行增强，以达到突出图像细节信息的目的；Retinex图像增强算法可以去除原始图像中照度分量的影响，然后求解出反映物体本质颜色的反射分量，进而对图像进行增强。

近年来，基于深度学习的图像增强恢复技术得到了快速发展，这些算法通过有监督或者半监督学习方式，从大量的训练数据中，让神经网络学习图像增强前后的映射关系。本技术使用卷积神经网络，提出了一种新颖的屏下相机图像信息解析恢复算法，可以处理模糊，低光，摩尔纹等问题。

该网络的输入是一副经过T-OLED或者P-OLED成像退化图像(低光，模糊，摩尔纹等问题)，通过一个带跳跃连接的编码器-解码器网络，输出解析恢复后的结果。模型结构中，本发明研究发现不同的基础模块对不同屏幕的适应程度不同，因此本发明提出了两种不同的基础模块以应对不同的屏幕要求。与此同时，在训练中，监督信息为不经过任何屏幕的自然真实图像，输入为屏下成像图片。相比于传统方法，本发明端到端的学习方式可以适应不同图像场景，具有更好的适应性、鲁棒性、延拓性。

发明内容

编码器解码器结构常用于语义分割，图像恢复等领域，但是常用的方法存在处理精度差、处理速度慢、方法复杂度高、效果不理想等问题。本发明提出在原始的UNet方法基础上将残差结构以及残差密集性结构引入到UNet方法中，以提高方法的特征提取能力。并在解码上采样阶段，本发明灵活应用两种上采样方式，分别为双线性和PixelShuffle上采样。与此同时，为了满足不同场景的需求，本发明提出不同大小模型以应对恢复精度与速度的要求。