[发明专利]显微图像的深度学习超分辨率重建方法、介质及电子设备

说明书

本发明涉及一种显微图像的深度学习超分辨率重建方法、介质及电子设备，所述方法包括以下步骤：对低分辨率图像进行小波分解，获得第一系数子图；将所述第一系数子图输入变分自编码器，获得高分辨率的第二系数子图；基于所述第二系数子图进行小波反变换重构得到高分辨率图像；将所述低分辨率图像输入到训练好的卷积神经网络中，并将重构的所述高分辨率图像以残差的方式加入到该卷积神经网络，通过上采样得到与高分辨率图像尺寸相同的超分辨率图像。与现有技术相比，本发明具有重建精度高、方便等优点。

技术领域

本发明涉及显微图像超分辨率技术领域，尤其是涉及一种基于高内涵成像的细胞耐药性检测方法、介质及电子设备。

背景技术

自1590年世界上最早显微镜诞生以来，显微镜分辨率随技术进步不断提升。17世纪科学家在光学显微镜下能够观察到红血细胞、细菌、酵母菌以及游动的精子。1873年德国物理学家恩斯特·阿贝第一次发现光学成像具有衍射限制现象，即显微技术受制于光线波长限制，0.2um成为显微镜难以突破的瓶颈。自20世纪八九十年开始，埃里克·白兹格教授、威廉姆·艾斯科·莫尔纳尔教授和斯特凡·W·赫尔教授经过不懈努力突破了衍射极限，建成了可以观察纳米级的超分辨率荧光显微镜。而相对于改进设备的成像方式的方法提升图像的分辨率，Tsai和Huang于1984年提出了超分辨率重建的新概念，即将同一场景下获得的低分辨率图像序列作为样本，重建一幅空间分辨率较高的图像。随后，学者们从不同的研究角度提出了许多算法。根据不同的重建方法，超分辨率重建算法可以分为三类：基于插值、基于重构和基于学习。现有基于插值的超分辨率重建处理方式中，在对低分辨率的图像进行插值时，会导致视觉效果变差，产生马赛克，影响高分辨率图像的视觉效果；如果进一步对高分辨率图像中的马赛克和毛刺等噪声进行修复，又可能会丢失图像细节，也会影响高分辨率图像的视觉效果。

随着近年来智能算法的迅猛发展，其在各领域上都得到了一定应用。如申请号为CN201610485953.0的发明公开了高分辨X射线、γ射线、电子射线显微镜技术。但因射线获取的危险性、装置设计的精密性造成设备成本高昂等问题，从经济性角度限制了电子显微镜以较高精度水平应用于辅助疾病的临床诊断。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种重建精度高、方便的显微图像的深度学习超分辨率重建方法、介质及电子设备。

本发明的目的可以通过以下技术方案来实现：

一种显微图像的深度学习超分辨率重建方法，包括以下步骤：

对低分辨率图像进行小波分解，获得第一系数子图；

将所述第一系数子图输入变分自编码器，获得高分辨率的第二系数子图；

基于所述第二系数子图进行小波反变换重构得到高分辨率图像；

将所述低分辨率图像输入到训练好的卷积神经网络中，并将重构的所述高分辨率图像以残差的方式加入到该卷积神经网络，通过上采样得到与高分辨率图像尺寸相同的超分辨率图像。

进一步地，将低分辨率图像进行最近邻插值得到与高分辨率图像尺寸相同的图像LR_inter后，将LR_inter进行小波分解得到多个所述第一系数子图。

进一步地，采用快速小波变换算法进行小波分解。

进一步地，所述变分自编码器包括一个编码器和一个解码器，解码器的隐向量z与编码器输出的均值μ和方差δ间的关系为z＝μ+δ☉ε，ε～N(0,I)。

进一步地，所述卷积神经网络训练时，采用相同视野中不同分辨率的高低分辨率图像对作为训练数据集。

进一步地，所述训练数据集的获取方式如下：