[发明专利]基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

说明书

本发明公开了一种基于风格迁移的核磁图像超分辨率方法，包括以下步骤：由非配对的高清图像和低清图像数据集训练改进的Transformer模型；将待配对的高清图像输入改进的Transformer模型输出对应的配对低清图像并与待配对的高清图像与所述配对低清图像组对构成对抗生成网络训练集，再由此训练集训练对抗生成网络；最后将核磁图像输入训练后的对抗生成网络得到高清核磁图像；其中改进的Transformer模型包括两个编码器、解码器和卷积神经网络上采样器，经过位置编码的高清图像分别输入两个编码器得到内容序列和风格序列再共同输入解码器解码后进行放大输出。本发明克服了传统线性下采样没有考虑图片域差导致与真实低清图像风格不一致的问题，可获得更加真实、更小色差的高清图像。

技术领域

本发明涉及一种超分辨率方法，特别是涉及一种基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质。

背景技术

超分辨率(super resolution)技术旨在从模糊的低分辨率图像中重建出其对应的清晰的高分辨率图像。基于深度学习的超分辨率方法由于存在以下缺点而缺乏实际落地应用能力：

1、泛化性能差，不能应用于真实的超分场合：现有主流的超分辨率方法有基于卷积神经网络的图像超分辨率，如SRCNN等，还有基于对抗生成网络技术的图像超分辨率方法，如ESRGAN等。这些方法通过将高清的图像进行线性下采样，或者添加高斯噪声，以一种单一固定的下采样方法生成模糊的低分辨率图像，以此来构造成对的数据集。虽然运用了深度学习模型，在各自构造的数据集上取得了较好的效果，但是通过这种方法训练出来的模型，用于现实世界中的其他低清图像时，一般会产生较明显的伪影，导致超分辨率效果不佳。

2、需要耗费大量人力物力去构造真实的成对数据集：许多研究试图用真实的低清图像和真实的高清图像组成成对的数据集进行训练以克服上述伪影问题。但是现实世界中，极少能出现对一物体的同一角度、不同清晰度的成对图像，采集数据集变得困难。现有的一些方法尝试使用相机变焦等方法，人为对成对的数据集进行采集，但是这个方法需要耗费大量的人力和物力。

发明内容

针对上述现有技术的缺陷，本发明提供了一种基于风格迁移的核磁图像超分辨率方法，解决采用下采样构造数据集训练的深度学习模型泛化性不足，无法应用于真实世界而人为构造数据集的方法又耗时耗力的问题。

本发明技术方案如下：一种基于风格迁移的核磁图像超分辨率方法，包括以下步骤：

步骤1、由非配对的高清图像和低清图像数据集训练改进的Transformer模型；

步骤2、将待配对的高清图像输入所述步骤1训练后的改进的Transformer模型输出对应的配对低清图像，由所述待配对的高清图像与所述配对低清图像组对构成对抗生成网络训练集；

步骤3、由所述步骤2得到的对抗生成网络训练集训练对抗生成网络；

步骤4、将核磁图像输入所述步骤3训练后的对抗生成网络得到高清核磁图像；

所述改进的Transformer模型包括两个线性映射层、两个Transformer编码器、Transformer解码器和卷积神经网络上采样器，其中两个Transformer编码器的每一层由一个多头自注意模块和一个前馈网络组成，原始高清图像通过剪裁和一个线性映射层得到内容图像块序列，加上经过具有内容感知的位置编码的高清图像共同输入一个Transformer编码器得到内容序列，低清图像通过剪裁和另一个线性映射层得到风格图像块序列，输入另一个Transformer编码器得到风格序列；Transformer解码器的每一层由两个多头自注意模块和一个前馈网络组成，所述内容序列和风格序列共同输入所述Transformer解码器解码后由所述卷积神经网络上采样器进行放大输出。