[发明专利]一种基于双残差超密集网络的多模态医学图像融合方法

权利要求书

1.一种基于双残差超密集网络的多模态医学图像融合方法，其特征在于，包括：

获取第一模态医学图像和第二模态医学图像；

通过双残差超密集网络中的第一Conv层卷积和PReLU层激活，提取第一模态医学图像和第二模态医学图像的浅层特征；

通过残差学习和超密集连接，分别从第一模态医学图像和第二模态医学图像的浅层特征中，提取第一模态医学图像和第二模态医学图像的深层特征；

对第一模态医学图像和第二模态医学图像的深层特征，依次进行双残差超密集网络中的Concat层通道维度上拼接、最后Conv层卷积、PReLU层激活，获得第一模态医学图像和第二模态医学图像的融合图像；

其中，

对双残差超密集网络中的所有卷积层均使用参数校正线性单元作为PReLU层的激活函数；

所述PReLU层是通过非线性映射转换输入特征映射，公式如下：

其中，f(·)为一个非线性函数，F^j_l+1为输出，是j路径的第l+1层特征映射；F^j_l为输入，是j路径的第l层特征映射；

所述第一模态医学图像，采用计算机断层扫描CT图像；

所述第二模态医学图像，采用磁共振MR图像；

所述通过双残差超密集网络中的第一Conv层卷积和PReLU层激活，提取第一模态医学图像和第二模态医学图像的浅层特征，具体包括：

将图像数据集Image Net上预先训练的高级残差网络ResNet101的第一卷积层作为双残差超密集网络的第一Conv层；

通过在双残差超密集网络中的第一Conv层卷积和PReLU层激活，获得计算机断层扫描CT图像和磁共振MR图像的浅层特征：

其中，X，Y分别表示计算机断层扫描CT源图像，磁共振MR源图像，F¹₀为计算机断层扫描CT图像的浅层特征，F²₀为磁共振MR图像的浅层特征，G¹₀(·)为计算机断层扫描CT路径的卷积操作和激活函数的组合函数，G²₀(·)为磁共振MR路径的卷积操作和激活函数的组合函数；

所述通过残差学习和超密集连接，分别从第一模态医学图像和第二模态医学图像的浅层特征中，提取第一模态医学图像和第二模态医学图像的深层特征，具体包括：

在双残差超密集网络的Concat层上，将第一模态医学图像的浅层特征和第二模态医学图像的浅层特征进行通道维度上的拼接；

在双残差超密集网络的1×1Conv层上，实现卷积核通道数的降维；

在双残差超密集网络的和拼接层上，由于残差学习中输入输出关系如下：

H(x)＝F(x)+x

其中，F(x)表示残差映射，具体指通过双残差超密集网络学习到的G¹_L(·)、G²_L(·)；x表示浅层特征F¹₀，F²₀；因此，双残差超密集网络的输出如下：

其中，F¹_L，F²_L表示双残差超密集网络的输出，G¹_L(·)，G²_L(·)表示双残差超密集网络中经过最后1×1Conv层的函数；

设F¹_l和F²_l分别表示计算机断层扫描CT图像路径和磁共振MR图像路径中第l层的输出，则双残差超密集网络的两个路径第l层的输出特性如下：

其中，G¹_l(·)和G²_l(·)分别表示双残差超密集网络中计算机断层扫描CT图像路径上的第l层卷积层的函数和磁共振MR图像路径上的第l层卷积层的函数。