[发明专利]一种基于深度学习的视网膜超分辨重建系统及方法

说明书

本发明公开了一种基于深度学习的视网膜超分辨重建系统，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。

技术领域

本发明涉及超分辨技术领域，尤其涉及一种基于深度学习的视网膜超分辨重建系统及方法。

背景技术

图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。目前，超分辨率重建的理论和方法包含三个主要方向：基于插值的超分辨率重建、基于重构的超分辨率重建和基于学习的超分辨率重建。

基于插值的超分辨率重建的方法。这种方法将每一张图像都看做是图像平面上的一个点，那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解，但是也存在着一些明显的缺陷。首先，它假设像素灰度值的变化是一个连续的、平滑的过程，但实际上这种假设并不完全成立。其次，在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。

基于重构的超分辨率重建方法。这种方法则是从图像的降质退化模型出发，假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的基于重构的方法包括迭代反投影法、凸集投影法和最大后验概率法等。

基于学习的超分辨重建方法。这种方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码和深度学习方法。

近年来深度学习在各个领域取得不多成绩。2014年，Dong等人首次将深度学习应用到图像超分辨率重建领域，他们使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系，自此，在超分辨率重建率领域掀起了深度学习的浪潮。但是这些方法大多数是通过残差连接，或者密集连接的方式来提高网络结构的表征能力，没有考虑到卷积网络所提取特征对超分辨率重要性，导致得到的图像分辨率不高，效果不佳。

发明内容

本发明提供了一种基于深度学习的视网膜超分辨重建系统及方法，利用深度学习网络从单张低分辨率视网膜图像恢复对应的高分辨率图像；提出一个深度学习模型，该模型由上采样和下采样模块与通道注意力模块级联组成，从而使得模型从时域与频率两个方面提取更加具有辨别性的特征。

为了解决上述技术问题，本发明实施例提供了一种基于深度学习的视网膜超分辨重建系统，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；

所述通道注意力模块由全局平均池化层、Relu激励函数、1x1卷积层和Sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、Relu激励函数、第二1x1卷积层和Sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；