[发明专利]一种多模态图像合成的深度学习神经网络模型系统

说明书

本发明涉及一种多模态图像合成的深度学习神经网络模型系统，包括由残差深度神经网络(RDNN)与多分辨率优化策略相结合形成的多分辨率残差深度神经网络；RDNN包括A个卷积层，B个脱落层,C个批归一化(Batch Normalization)层和D个长期残差连接；其中，卷积层用于图像特征的提取；脱落层用于避免网络过拟合；批归一化层用于对对应卷积核的输入进行标准化；长期残差连接用于保留输入图像中的结构信息；每个脱落层的两侧均设置有卷积层，每个脱落层与两侧相邻的卷积层均连接；每个脱落层和批归一化层之间均设置有一个卷积层；脱落层、卷积层和批归一化层之间依次连接；每个长期残差连接的一端连接在卷积层与批归一化层之间；另一端连接在另一组卷积层与批归一化层之间。

技术领域

本发明涉及医学图像处理及引导治疗技术领域，具体涉及一种多模态图像合成的深度学习神经网络模型系统。

背景技术

基于CBCT图像的自适应放疗(Adaptive Radio Therapy, ART)技术可以提高射线对肿瘤的照射，同时，保护肿瘤附近的危及器官。然而，现有技术中CBCT图像HU准确性低、软组织分辨率低并且存在严重的伪影。因此，为实现自适应放疗（ART），首先需要基于CBCT图像产生高HU准确性及结构保真度的合成 CT(sCT)图像。

U-Net及其他一些深度学习网络已广泛应用于sCT图像产生的任务中。研究表明，产生的sCT图像的HU准确性得到了显著提高，并可基于sCT图像进行剂量计算。然而，这些sCT图像对于CBCT图像中存在的结构的保真度不高，且产生的图像模糊。

产生上述sCT图像结构保真度不高的一个重要原因是，由于医学数据的不易获得，之前的研究没有基于特定部位对网络进行优化。例如，在训练头部sCT图像产生的网络过程中，一些研究利用头、腹、盆等部位的数据对其进行训练。二是，上述网络缺乏提高sCT图像结构保真度的约束。

发明内容

本发明旨在提供一种多模态图像合成的深度学习神经网络模型系统，所要解决的技术问题包括如何使得产生的sCT图像不仅具有很高的HU准确性，而且对CBCT图像中的结构信息有很好的保真度。

本发明的目的是解决现有技术的不足，提供一种多模态图像合成的深度学习神经网络模型系统，包括由残差深度学习网络（RDNN）与多分辨（multi-resolution）率优化策略相结合形成的多分辨率残差深度学习网络（multi-resolution RDNN）；所述的残差深度学习网络包括A个卷积层，B个脱落层(dropout),C个批归一化(Batch Normalization)层和D个长期残差连接(long-term residual connections)；其中，所述的卷积层用于图像特征的提取；所述的脱落层用于避免网络过拟合；所述的批归一化层用于对对应卷积核的输入进行标准化，从而稳定网络训练过程及提高学习效率；所述的长期残差连接用于保留深入图像中的结构信息；每个所述的脱落层的两侧均设置有所述的卷积层，每个所述的脱落层与两侧相邻的所述卷积层均连接；卷积层将提取的图像特征输入到相邻的脱落层中；

每个所述的脱落层和所述的批归一化层之间均设置有一个卷积层；脱落层、卷积层和批归一化层之间依次连接；

每个所述的长期残差连接的一端连接在卷积层与批归一化层之间；每个所述的长期残差连接的另一端连接在另一组卷积层与批归一化层之间；

所述的多分辨率优化策略是指由低到高在不同的分辨率模式下对优化过程进行序贯优化；在低分辨率下，优化过程仅专注于整个图像的概貌而不需拘泥于图像中的局部细节；图像中的细节信息在更高分辨率模式下学习得到。

优选地，所述的残差深度学习网络包括15个卷积层。

每个所述的卷积层可以表示为(k´k)卷积层, n的形式，其中，k表示卷积核的大小，n表示卷积核的个数，使用的激活函数为elu。

优选地，所述残差深度学习网络中的脱落率（Dropout Rate）为20%。