[发明专利]一种基于图像先验的细胞图像超分辨方法及装置

说明书

本发明公开了一种基于图像先验的细胞图像超分辨方法及其装置，属于计算机视觉和深度学习领域。该方法主要包括以下步骤：拍摄显微镜下的细胞图像；手动标记出三个区域，生成掩膜；生成特征图；提取掩膜；利用图像解码网络生成高分辨率图像；以细胞图像和掩膜作为训练集，训练卷积神经网络；固定网络参数，将训练得到的卷积神经网络，对低分辨率细胞图像进行超分辨。其装置包括：显微图像获取模块、图像预处理模块、图像特征编码模块、图像掩膜提取模块、图像解码模块、神经网络训练模块和细胞超分辨模块。本发明的细胞图像超分辨方法，充分利用了细胞图像先验知识，大大提高了细胞超分辨的性能，对基于显微图像的病理学诊断有至关重要的意义。

技术领域

本发明属于医学图像领域，尤其涉及一种基于图像先验的细胞图像超分辨方法和装置。

背景技术

在显微图像方面，高分辨的显微图像能够帮助医生快速准确地判断细胞病变与否，而且还可以提高人类或计算机程序基于显微图像自动识别疾病的准确率。然而，由于高分辨率相机和高倍数显微镜成本过高，以及地方政策问题，在许多发展中国家仅有部分高水平医院可以做到足够高清(诸如400倍放大倍数)的显微图像，而一些地方医院由于经济条件限制，难以获得如此高倍数的显微图像，这无疑大大限制了当地医院的医疗水平，使得部分来自小城市的患者不得不专程转移至其他城市进行病理诊断。基于这个问题，人们开始提出显微图像超分辨的概念，其中比较成功的方法是荧光标记，通过额外照射一个空心圆荧光，让光电的散射范围更小，突破衍射极限。另一种可能的方法便是通过数字图像超分辨技术来获得边缘更清晰的显微图像。现有的许多基于深度学习的图像超分辨方法都能大幅提高低分辨率图像的清晰度，因此将显微图像进行超分辨处理，即便使用一些低配置的显微成像系统也可以获得足够清晰的图像边缘，以帮助医师准确地进行病理诊断。

自2012年开始，得益于卷积神经网络的快速性和高效性，深度学习技术快速发展。越来越多的来自世界各个学校、企业的学者提出了许多基于深度学习的图像超分辨的方法。不少研究人员尝试将超分辨方法用于显微图像超分辨，并在组织切片图像超分辨取得了成功。然而还鲜有人专门对细胞图像进行超分辨。

目前细胞显微图像超分辨方法还存在如下问题：首先，绝大多数现有的深度学习超分辨网络都是将一副完整的图像裁剪成许多小尺寸的图像(例如41*41，或19*19)，这样忽略了图像的空间结构信息，对于细胞图像而言，整体结构信息对特征的提取也是至关重要的。其次，大多数超分辨模型都是以最小平方误差(Mean Square Error，MSE)为损失函数进行训练。以MSE作为目标容易使网络返回过于平滑和模糊的边界，导致超分辨效果欠佳。另外，当前研究很少考虑到细胞图像先验信息的应用。一般而言，图像先验能够很好地引导网络训练，使网络更快地收敛，使模型更加鲁棒。

发明内容

针对上述现有方法中存在的缺陷，本发明的目的在于提供一种基于图像先验的细胞超分辨方法，该方法的模型为一个深度卷积神经网络，可以实现对显微镜细胞图像进行背景、细胞质、细胞核三个区域的分割，并重建成一张拥有更高分辨率、且拥有更清晰的细节的超分辨率图像。本发明的另外一个目的是提供实现该方法的装置。

实现本发明目的的技术解决方案为：

一种基于图像先验的细胞图像超分辨方法，包括如下步骤：

S1，拍摄显微镜下的细胞图像；

S2，对拍摄得到的每张细胞图像手动标记出背景、细胞质和细胞核三种区域，并生成掩膜；

S3，利用特征编码网络，以单张细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图；

S4，利用语义分割网络，从输入的单张细胞图像中提取出背景、细胞质和细胞核三种区域的掩膜；

S5，将S3获得的细胞图像的特征图和S4提取的掩膜在通道维度上叠加，利用图像解码网络解码并生成高分辨率的细胞图像；