[发明专利]一种基于深度学习的多模态肝脏磁共振影像配准系统

权利要求书

1.一种基于深度学习的多模态肝脏磁共振影像配准系统，其特征在于，具体包括如下模块：

图像预处理模块，用于对源图像和目标图像进行预处理，并依次进行刚性配准、仿射配准和非线性配准；

训练样本筛选模块，用于对经预配准后的样本进行筛选，获取GAN网络的训练样本；

GAN网络模块，用于对多模态肝脏磁共振影像配准；所述GAN网络采用pix2pix架构搭建；包括鉴别器网络和生成器网络；其中：

所述生成器网络，采用U-Net结构，包括：5-12层卷积层，5-15层反卷积层；

所述生成器网络包括下采样与上采样两个阶段，在下采样阶段，通过卷积层进行图像特征提取；在上采样阶段，网络使用跳跃连接，用于保证下采样提取到的信息在上采样时被重新记忆，使得生成的图像保留原图像的信息，其中，所述跳跃连接用于表示将前一层的dropout输出与该层对称的下采样卷积层的输出相连接作为该反卷积层的输入；

所述下采样阶段包括3个步长为2，卷积核分别为64、128、256的跨步卷积层，和5个步长为2，卷积核为512的卷积层；

所述上采样阶段包括,4个步长为2，卷积核为512的反卷积层将特征矩阵，和4个步长为2，卷积核为256,128,64,1的跨步反卷积层；

所述下采样阶段的卷积层除了最后一个卷积层外，其余每个卷积层包含实则正则化和ReLU激活，并在生成器最末尾采用tanh激活函数；

在上采样阶段，每个反卷积层的dropout比率设置为0.5；

鉴别网络，采用patch-GAN结构，用于将一张图像通过多层卷积后得到尺寸较小的特征矩阵，经过sigmoid激活函数处理后得到矩阵中每个特征值相应介于0和1之间的概率值，其平均值即为鉴别网络输出的判别结果；

鉴别网络包括：卷积层，5-10层跨步卷积层，以及最终卷积层；具体实现过程为：原始DWI图像与原始DCE或仿真DCE图像成对输入鉴别器网络，首先经过4层步长为2，卷积核分别为64、128、256、512的跨步卷积层后，得到特征图，再经过步长为1，卷积核为1的卷积层，得到特征矩阵；对所述特征矩阵中的每个特征值进行sigmoid激活函数处理得到相应概率值，对概率值取平均后获取所述鉴别网络的输出；

系统的工作流程如下：

(一)由图像预处理模块，对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；

(二)由训练样本筛选模块，对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为GAN网络的训练样本；

(三)用筛选的训练样本，对GAN网络进行训练；在训练过程中，对比训练结果，调整图像预处理方法、网络训练方法及数据增强方法，达到最好的训练效果；

(四)进行GAN网络的辅助配准，具体流程为：

(1)将待配准的三维源模态图像切片，以二维图像的形式输入经过训练的GAN网络，输出对应的二维目标模态仿真图像，将二维仿真图像整合为三维仿真图像；

(2)对上一步得到的目标模态仿真图像与待配准目标模态图像进行传统配准，即依次进行刚性配准、仿射配准和非线性配准，得到对应像素映射关系，即形变场；

(3)将上一步得到的形变场与待配准源图像融合，完成GAN网络辅助配准；

所述调整图像预处理方法，具体方式有三种：

(1)对于有些图像在采集的过程中存在首尾数层图像不完整的情况，剔除每个3D图像样本的始末3-10层；

(2)对于喂入网络的所有2D图像，重采样至分辨率128×128到1024×1024；

(3)根据图像对的像素点取值范围以及网络结果的激活函数的输出范围，对2D图像进行归一化处理，将像素值归一化至[0,1]或[-1,1]或[-1,0]范围内；

所述调整数据增强方法，具体包括：翻折，旋转，仿射变换，增加噪声，裁切，颜色扰动和缩放；

翻折：方式有水平翻折、垂直翻折、对角翻折三种，随机选取三种翻折方式的一种进行数据增强；

旋转：选择角度阈值θ，在-θ度至θ度随机角度旋转；θ的范围为120°至180°之间；

仿射变换：分别在以图像的四个端点为圆心、直径为n个像素的圆形区域内随机取四点，作为仿射变换的变换顶点，进行仿射变换；

缩放变换：在图像尺寸的一定百分比范围内随机取值，进行图像缩放；百分比范围为10％-15％。