[发明专利]一种基于DARTS网络的多模态医学图像融合方法

说明书

本发明公开了一种基于DARTS网络的多模态医学图像融合方法，属于图像处理与分析中的图像融合技术领域。本发明采用可微架构搜索(Differentiable Architecture Search,DARTS)网络对多模态医学图像进行特征提取，该网络在搜索阶段以网络权重的梯度作为损失函数来进行学习，在不同卷积操作、不同节点的连接之间选择出最适应于当前数据集的网络结构，使得网络提取得到的特征细节更加丰富；同时本发明采用能表征图像灰度信息、相关性、细节信息、结构特征及图像对比度的多种指标作为网络损失函数，可在无需金标准情况下，以无监督学习方式实现医学图像的有效融合，在图像细节保护及图像对比度提升等方面较现有方法具有更优的融合效果。

技术领域

本发明属于图像处理与分析中的图像融合技术领域，更具体地，涉及一种基于DARTS网络的多模态医学图像融合方法。

背景技术

随着医学成像技术的发展，越来越多的医学成像技术如超声成像(US)、计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT)被应用于人体各个器官疾病的诊断与评估中。每种医学成像技术都有其优缺点，如CT成像可涵盖人体各个解剖部位，密度分辨率高，但是其空间分辨率低，关节肌肉显示差，存在伪影。而MR成像具有高度软组织分辨能力，无骨伪影及重叠伪影，缺点是扫描时间长，空间分辨率低于CT。多模态医学图像融合可将不同模态下图像特有的信息整合在一副图像里，便于医生观察诊断。因此，多模态医学图像融合在临床发挥着重要的作用，如在临床中将US与MRI融合实现前列腺穿刺活检，将PET与CT融合实现肺癌检测等。

传统的图像融合算法主要分为像素级、特征级和决策级的图像融合方法。其中像素级融合能获得较高的精度，实施简单，但是其抗干扰能力差，对噪声敏感，在医学图像融合中容易产生伪影，影响医生诊断准确率；特征级融合方法中特征提取主要来自人工设计的方法，因医学图像的复杂性，人工设计的特征很难适应不同的医学图像；决策级融合对噪声不敏感，但是其融合精度差，实施困难，并且获得的融合图像信息量少，用于医学图像融合很容易丢失重要信息。

深度学习可从大量样本中集中学习样本的特征信息，近年来被广泛用于图像处理和分析任务，如图像分割、图像配准和图像融合等。就图像融合而言，由于没有金标准，基于深度学习的图像融合方法可分为以下两类：第一类是利用深度学习方法来提取特征，然后基于提取的特征，采用传统的融合策略对图像进行融合；第二类是端对端的融合方法。第一类方法的具体做法是使用预训练的深度学习模型进行特征的提取，采取传统的策略进行特征融合以及后续的融合图像重建。第二类方法可分为有监督方法和无监督方法，其具体做法是提出一种端到端的网络结构，采用MSE以及SSIM等测度，对图像融合数据集进行训练，将训练好的模型直接用于图像融合。

对于第一类方法而言，其实现简单，直接用预训练的模型以及一些传统的融合、重建策略进行图像融合，省去了训练步骤，但是由于预训练模型是适用于某个特定数据集，因此此种方法泛化能力较差，不适用于多种数据集或者是多任务图像融合。对于第二类方法而言，其可通过使用合适的网络结构以及对数据集的训练，提升网络提取图像特征的能力，配合卷积升采样等一些步骤，较好地实现端到端的图像融合。在该类方法中，网络结构的设计和网络的损失函数至关重要，现有的此类融合方法在网络结构方面通常采用简单的CNN和ResNet网络结构，并采用简单的MSE和SSIM等测度，很难确保融合图像质量。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于DARTS网络的多模态医学图像融合方法，其目的在于提高多模态医学图像融合后的图像质量。

为实现上述目的，本发明提供了一种基于DARTS网络的多模态医学图像融合方法，包括：