[发明专利]一种基于DARTS网络的多模态医学图像融合方法

权利要求书

1.一种基于DARTS网络的多模态医学图像融合方法，其特征在于，包括：

S1.利用多模态医学图像数据对预先设置的DARTS模型进行网络结构搜索，得到适用于多模态医学图像数据的DARTS网络结构；DARTS网络结构包括一个或多个串接的胞体；每个胞体包括多个节点；各个节点与前两个胞体的输出或当前胞体内其他节点通过不同的卷积操作连接；各个节点的通道合并作为胞体的输出；

S2.构建多模态医学图像融合网络；多模态医学图像融合网络包括多通道DARTS网络模块、特征融合模块、升采样模块；其中，多通道DARTS网络模块由多个并列的DARTS网络结构构成；

DARTS网络结构，用于对输入图像进行降采样，得到对应的特征图；特征融合模块，用于对双通道DARTS网络模块输出的特征图进行特征融合；升采样模块，对融合后的特征进行卷积升采样，得到与输入图像尺寸相同的融合结果；

S3.利用多模态医学图像数据采用无监督学习方法对多模态医学图像融合网络进行训练；训练多模态医学图像融合网络的损失函数为：

其中，L_SSIM表示结构相似性损失，L_SCD表示差值互相关损失，L_MI表示互信息损失，L_MS–SSIM表示多尺度结构相似性损失，表示边缘保护度损失，L_SR-MI表示基于结构表征的互信息损失，结构表征结果利用PCANet网络来获得，λ₁、λ₂分别为各组损失函数的权重；

差值互相关SCD反映融合图像与源图像的相关性之和，其计算公式如下：

L_SCD＝-(R(F-S₂，S₁)+R(F-S₁，S₂))

S₁与S₂分别表示两幅源图像，F表示融合图像，R代表图像相关性计算；

互信息MI表征融合图像包含两源图像的信息量大小，其具体公式为：

L_MI＝-(I(S₁，F)+I(S₂，F))

I表示两幅图像的互信息计算；

结构相似性SSIM损失的公式如下：

边缘保护度损失计算公式如下：

表示融合图像F对两幅源图像S₁与S₂的边缘保留程度；

S4.将待融合的多模态医学图像输入训练好的多模态医学图像融合模型，得到融合结果。

2.根据权利要求1所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，步骤S1中不同的卷积操作包括：卷积核大小为3的深度可分卷积，卷积核大小为5的深度可分卷积，卷积核大小为3的标准卷积，卷积核大小为5的标准卷积，卷积核大小为3的空洞卷积，卷积核大小为5的空洞卷积，跳跃连接。

3.根据权利要求1所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，DARTS网络结构包括一个胞体。

4.根据权利要求3所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，所述胞体包括四个节点。

5.根据权利要求4所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，胞体中卷积步长置1，采用填充方式使特征图与输入图像大小一致。

6.根据权利要求1所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，特征融合模块，对双通道DARTS网络模块输出的特征图进行特征融合，具体为，采用通道合并方式实现特征图的融合。

7.根据权利要求1-6任一项所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，所述方法还包括对多模态医学图像数据进行数据增强。

8.根据权利要求7所述的一种基于DARTS网络的多模态医学图像融合方法，其特征在于，所述数据增强包括平移、旋转和非刚性形变。