[发明专利]一种超分辨率重建方法、装置、存储介质及电子设备

说明书

本发明公开了一种超分辨率重建方法、装置、存储介质及电子设备，该方法包括：获取高分辨率图像和待处理的低分辨率图像；根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。本发明实施例充分结合了多分辨率分析的思想，使得网络在重建过程中具有一定的可解释性。该方法采用两个神经网络分别进行采用分解和融合工作，得到超分辨率图像，完成超分辨率重建工作。

技术领域

本发明涉及图像处理技术领域，具体涉及一种超分辨率重建方法、装置、存储介质及电子设备。

背景技术

高分辨率(High Resolution，HR)医学图像可以提供丰富的结构细节，这对帮助医生发现病变极为重要。然而，由于设备限制、扫描时间或患者舒适度的限制，很难获得HR磁共振成像(Magnetic Resonance Imaging，MRI)。目前，提高MRI分辨率的常用方法有两种：第一是改进设备性能或扫描方法，成本较高；第二是通过超分辨率(Super－resolution，SR)重建技术从已知的低分辨率(Low Resolution，LR)图像中重建HR MRI，从而克服了硬件成本的限制。第二种方法由于具有较高的性价比，故在医学图像超分辨率研究领域引起了广泛的兴趣。

近年来，随着深度学习的快速发展，越来越多的学者成功地将其应用于图像超分辨领域。Dong等人首次将卷积神经网络(Convolutional Neural Network，CNN)应用到图像SR重建中，他们使用三层CNN学习LR/HR图像之间端到端的映射，从而指导HR图像的重建。此后，越来越多优秀的基于CNN的SR重建算法被提出，这极大地促进了MRI图像超分辨率重建的发展。在多模态超分辨率重建方面，Pham等人提出了一种3D残差CNN来执行MRI SR任务，将插值后的LR图像与预测图像以残差的方式相结合，生成HR图像。为了加快重构时间，Xiang等人在Unet的基础上与密集连接网络(Densely connected network)进行组合，提出Dense－Unet来完成重构任务。为了进一步验证参考图像对重建效果的影响，Zeng等人构建了可以同时进行单对比度和多对比度的超分辨率重建网络。

以上多模态重建方法都有一个共同的特点，即LR图像和参考图像都是先通过通道结合的方式输入网络进行特征提取，然后再通过神经网络的强大的学习能力生成HR图像。虽然可以获得更好的重建性能，但多模态重建网络是不可解释的，这可能会导致生成的HR图像不可靠。

发明内容

有鉴于此，本发明实施例提供了一种超分辨率重建方法、装置、存储介质及电子设备，以解决现有的超分辨率重建网络不可靠的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种超分辨率重建方法，该方法包括：获取高分辨率图像和待处理的低分辨率图像；根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像；采用多分辨多模态超分辨率重建网络，将第一种模态高分辨率图像在联想记忆网络中生成的多尺度关联图像，与第二种模态的低分辨率图像进行融合，得到第二种模态的低分辨率图像对应的超分辨率图像。

可选地，所述两种模态高分辨率图像中，第一种模态高分辨率为T1加权像和第二种模态高分辨率为T2加权像，根据联想记忆网络建立两种模态高分辨率图像的多尺度关联关系，得到第一种模态高分辨率图像与第二种模态高分辨率图像之间的多尺度关联图像，包括：根据联想记忆网络建立高分辨率T1加权像和高分辨率T2加权像多尺度关联关系，将高分辨率T1加权像分解出多个与高分辨率T2加权像相关的关联图像。