[发明专利]一种基于多帧图像超分辨的芯片显微相位恢复方法和装置

说明书

本发明公开了一种基于多帧图像超分辨的芯片显微相位恢复方法及其装置，属于计算机视觉和深度学习领域。该方法主要包括以下步骤：拍摄多帧芯片显微图像、随机打乱各帧图像，将输入的多帧芯片显微图像做两两对齐、将补偿后的图像合并成单帧特征图、恢复单帧特征图的高频细节、进行网络预训练，并在少量芯片显微多帧图像上进行迁移训练、对芯片显微多帧图像直接进行超分辨、将超分辨后的芯片显微图像进行常规相位恢复处理，得到重建后的显微图像。其装置包括：图像获取模块、运动补偿模块、多帧融合模块、单帧超分辨模块、神经网络训练模块、多帧超分辨模块和相位恢复模块。本发明的方法可以大大提高多帧超分辨及之后相位恢复的性能。

技术领域

本发明属于显微图像领域，尤其涉及一种基于多帧图像超分辨的芯片显微相位恢复方法和装置。

背景技术

芯片显微是一种不需要光学镜头也能拍摄显微图像的技术。普通的光学显微借助物镜与目镜组合来放大图像，人们才得以观察到微小的生物图像。而芯片显微作为一种数字全息技术，完全摒弃了光学镜头，通过芯片上的感光阵列便可以捕捉显微图像信息，再通过一系列重建算法恢复出图像。它比光学显微镜的视场更大，分辨率更高，而且成本远低于光学显微镜。但是由于相位信息和频率信息丢失的问题，重建的图像通常存在严重的衍射环干扰，以致当前该技术难以进行广泛应用。在频率信息恢复方面，研究人员大多采用迭代算法，从多帧图像中提取高频信息，然而该类迭代算法存在着速度慢，精度低的问题。

自2012年开始，得益于卷积神经网络的快速性和高效性，深度学习技术快速发展。越来越多的来自世界各个学校、企业的学者提出了许多基于深度学习的多帧图像超分辨的方法，多帧图像超分辨算法在视频超分辨方面已然取得巨大的成功。然而还鲜有人设计专门针对芯片显微图像的多帧超分辨，该任务与视频超分辨最大的区别在于：视频超分辨的帧与帧之间存在很强的关联性，并且帧之间的顺序必须严格遵循现实的因果关系，不能随意改变；而芯片显微的多帧图像不存在因果关系，每帧之间的顺序可以任意调整。因此，由于没有因果关系的约束，可以设计更加快速，更加鲁棒的网络模型。

发明内容

本发明的目的在于提供一种基于多帧图像超分辨的芯片显微相位恢复方法，该方法可以实现对多帧芯片显微图像的运动补偿，并重建成一张拥有更高分辨率、且拥有更清晰的细节的超分辨率图像。本发明的另外一个目的是提供实现该方法的装置。

本发明的方法采用的技术方案为：

一种基于多帧图像超分辨的芯片显微相位恢复方法，包括如下步骤：

S1，利用芯片显微装置和位移台结合拍摄多帧芯片显微图像，并将显微图像随机划分成两部分：一部分作为训练集，另一部分作为测试集；

S2，随机打乱所述多帧芯片显微图像，利用光流网络和反向扭曲，以某帧芯片显微图像为基准，将多帧芯片显微图像进行两两对齐；

S3，利用卷积神经网络将对齐后的图像合并成单帧特征图；

S4，利用卷积神经网络恢复单帧特征图的高频细节；

S5，利用超分辨数据集对卷积神经网络进行预训练，并在所述显微图像的训练集上进行迁移训练；

S6，经过多次训练迭代后，固定卷积神经网络的参数，将训练得到的卷积神经网络对所述显微图像的测试集直接进行超分辨；

S7，将经步骤S6超分辨后的芯片显微图像进行相位恢复处理，得到重建后的显微图像。

进一步地，所述步骤S3中，将步骤S2对齐后的多帧图像分成若干组，每组在通道维度上直接叠加，得到多通道图像，然后经过卷积神经网络生成一个特征图；将每组生成的特征图继续在通道维度上直接叠加，经过另一个卷积神经网络处理，得到合并后的单帧特征图。

进一步地，所述步骤S4中，将步骤S3生成的单帧特征图进入单帧超分辨网络，生成高分辨率的单帧芯片显微图像。