[发明专利]一种三维医学图像超分辨率重建方法和系统

说明书

本发明公开了一种三维医学图像超分辨率重建方法和系统，属于医学图像处理领域。本发明将三维超分辨率问题分解为单张切片超分辨率重建及相邻切片间内容相关性两个问题的组合，通过多通道二维卷积神经网络对三维医学图像数据进行超分辨率重建，多通道网络结构充分考虑了相邻切片的高相关性。图像超分辨率重建部分的参数通过大量二维高分辨率医学图像进行训练，之后冻结重建部分参数，利用少量三维数据训练多通道输出层的权重参数。由于多通道网络仅需训练新输出层的序列图像的权重等参数，这样仅需要少量的三维高分辨率图像即可完成网络训练。本质上为二维网络，相比于三维网络，需要的三维数据大大减少，训练难度也大大降低。

技术领域

本发明属于医学图像处理领域，更具体地，涉及一种三维医学图像超分辨率重建方法和系统。

背景技术

三维医学图像超分辨率重建是医学图像处理中的重要内容。三维医学图像目前在临床中广泛存在，其通常的成像采集方式是断层成像，如CT、UCT等。但对于三维断层成像而言，三维图像扫描层间距一般都明显大于层内相邻像素的间隔，即扫描层间的分辨率明显低于扫描层内图像分辨率，而且由于人体运动和机械误差，扫描切片层与层之间也往往会出现错位现象，于是非扫描面中，图像会出现锯齿状且两个方向的图像分辨率不一致。

三维医学图像超分辨率重建就是改善非扫面图像分辨率，改善三维断层医学图像体数据中分辨率各向异性。传统的超分辨率重建方法是采用图像插值，线性插值的方式导致图像细节信息丢失严重，而图像自适应的插值算法计算量大，效率低，改善图像质量能力有限；利用图像配准来改善扫描层之间的错位问题也存在效率低，效果不明显等问题。

基于学习的超分辨率是当前研究的热点。其中传统的二维卷积网络能一定程度改善图像自身的质量，但通常无法改善错位现象，保证更好的空间连续性，VDSR、EDSR等算法在应用于三维重建时不能很好的考虑三维数据体的空间位置关系；三维神经网络虽然有足够的超分辨率精度，如DDSR、ReCNN均是通过三维卷积核进行特征提取，但三维卷积网络存在数据不足、训练开销大、效率低等问题，因此三维卷积网络在应用中有很大的限制。并且对于医学图像处理领域来说，临床中高分辨率三维医学图像获取较困难。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种三维医学图像超分辨率重建方法和系统，其目的在于考虑三维断层扫描图像非扫描切面的几何特性，处理二维高分辨率训练样本，通过迁移学习，利用二维训练样本模拟三维断层切面，极大减少三维训练样本的数目；构建多通道二维网络，充分考虑三维图像数据模型中连续切片高度相关的因素，使算法适用于三维医学图像的同时降低其训练开销，同时具备较好的重建效果及鲁棒性。

为实现上述目的，按照本发明的第一方面，提供了一种三维医学图像超分辨率重建方法，该方法包括：

训练阶段：

S1.对不同尺寸大小且相互之间无连续性的高分辨率二维医学图像进行随机行抽取，使其具备与三维医学图像非扫描面相似的断层特征，再进行插值生成与原始图像尺寸相同的低分辨率二维医学图像，将高分辨率三维医学图像经过随机扫描面抽取、插值得到低分辨率三维医学图像，并将其沿冠状面方向分割成连续二维图像切片序列；

S2.训练二维单通道重建网络，训练样本为低分辨率二维医学图像，标签为对应高分辨率二维医学图像；

S3.对训练好的二维单通道重建网络进行数据迁移，改变输入层使得网络每次能够输入N张连续的二维医学图像，并添加一个新输出层对经过重建后输出的N个结果进行加权求和，生成二维多通道网络，N为奇数；

S4.冻结网络主体部分的训练参数，仅训练二维多通道网络输出层参数，训练样本为沿冠状面方向分割出的连续二维图像切片序列，标签为原始三维图像沿冠状面分解出的二维切面；

其中，二维多通道网络训练样本数目远少于二维单通道重建网络训练样本数目；

应用阶段：