[发明专利]图像重建方法及系统

说明书

本发明公开了一种图像重建方法及系统，从参考图像中获取所需的高分辨率特征、将高分辨率特征和给定的低分辨率信息高效融合、超分辨率重建。从参考图像中获取所需的高分辨率特性指首先利用特定的特征提取器提取关键特征，再通过选择策略将参考图像的特性组合为所需的高分辨率特征。将高分辨率特征和给定的低分辨率信息高效融合指将高低分辨率特征共同输入构建好的神经网络，通过网络的学习优化输出一个包含丰富高分辨率信息的特征。

技术领域

本发明涉及图像重建领域，特别是一种图像重建方法及系统。

背景技术

在互联网高速发展的新时代，每天都涌现出海量的数据。图像数据因其传播速度快，易于大众接受等特点成为人们获取信息的重要载体，准确高效的获取图像数据中的信息对人们的生活、工作具有重要的意义。如在新冠肺炎疫情之下，各种组织搭建了许多医疗平台，医疗工作者通过图像检测^[1]等技术可准确地观察各类医学影像，了解病人肺部的变化，最终对病人的病情做出准确的判断；公共安全人员通过观察人群视频，定位到嫌疑人画面，利用2D人脸识别技术^[2]对比嫌疑人和罪犯的人脸信息，帮助抓捕罪犯和维护公共安全。这就要求人们捕获的图像必须是高分辨率的，即具有清晰的细节和真实的纹理特征的图像，但是在实际应用中，由于成像环境的干扰、物理成像系统的局限性以及传输过程中信息损失等原因，我们采集到的图像产生了不同程度的退化，此时的图像变为了低分辨率的图像，即结构扭曲且视觉模糊的图像，直接导致了图像数据的信息丢失。这不仅不能帮助人们快速的获取图像信息，甚至可能误导观察者做出错误的判断。如果从提升硬件设施的角度解决这些问题，往往需要很大的人力和经济成本。因此通过一定的算法对退化后的低分辨率图像进行高清重建显的尤为重要，图像超分辨率技术是指通过特定的算法将低分辨率图像重建为对应的高分辨率图像，从而恢复出人们所需要的关键细节信息。这很大程度地帮助了观察者获取并分析图像信息，对医疗、公共安全等领域具有重要意义。

近年来，随着深度学习的不断发展，卷积神经网络作为一个强有力的工具在计算机视觉领域被广泛应用。各种基于卷积神经网络的图像超分辨率方法被先后提出，相应的客观指标不断提高，生成的图像也越来越符合人类视觉感知。目前的图像超分辨率重建方法可以被归纳为两类：单图像超分辨率和基于参考的图像超分辨率^[3]。传统的单图像超分辨率是指直接将低分辨率图像作为输入，并通过卷积神经网络学习输入输出之间的映射关系，最终输出高分辨率图像。尽管RCAN^[4]和DRN^[5]等复杂且有效的网络被提出，但是由于高分辨率图像的纹理信息在退化过程中被过度破坏，传统单图像超分辨率的生成结果依然比较模糊。随着生成对抗网络^[6]的兴起，一些基于生成对抗网络的图像重建方法被提出来解决上述问题，但由此产生的图像伪影问题给图像超分辨率任务带来了更大的挑战。基于参考的图像超分辨率最近取得了一定的进展，它从给定的参考图像中传输丰富的高分辨率纹理信息至低分辨率图像，以产生视觉上令人满意的结果。然而，目前最先进的方法通常是采用一种直接的方式来转移纹理，这可能会导致超分辨率后的图像结构扭曲和细节部分不清晰。例如，Zheng等人^[7]采用了一种基于流的方法，但是当低分辨率图像和参考图像之间存在大的视点差异时，该方法可能会搜索和迁移不准确的纹理信息。Zhang等人^[8]引入了一种预训练的分类模型定义的特征空间，利用该空间在低分辨率图像和参考图像之间搜索和迁移纹理特征。然而，这些高级语义特征并不能有效地表示高分辨率纹理信息，依然无法恢复出清晰的细节信息和真实的纹理特征。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种图像重建方法及系统，改善图像边缘轮廓等细节信息的重建效果。

为解决上述技术问题，本发明所采用的技术方案是：一种图像重建方法，包括以下步骤：

S1、对图像数据集中的输入图像、参考图像进行预处理，融合预处理后的图像，得到初步融合后的纹理特征Lx；其中，x=1，2,…,d；将待重建的低分辨率图像经过卷积处理，得到浅层特征F；d为纹理特征数量；