[发明专利]一种基于全局信息融合的多模态医学图像融合方法

说明书

本发明公开了一种基于全局信息融合的多模态医学图像融合方法，其步骤包括：1、对原始多个模态的医学图像进行色彩空间转换和图像剪切的预处理；2、建立在多个尺度通过融合模块进行交互的模态分支网络，并建立由Transformer构成的融合模块来合并多模态特征信息；3、建立重构模块，从多尺度的多模态特征合成融合图像；4、在公开数据集上训练并评估上述模型；4、利用训练好的模型实现医学图像融合任务。本发明通过Transformer融合模块和交互式模态分支网络能充分地融合多模态的语义信息，实现细粒度的融合效果，不仅很好地保留了原图像的结构和纹理信息，也改善了由于低分辨率医学图像引起的马赛克现象。

技术领域

本发明涉及图像融合技术领域，尤其涉及基于深度学习的医学图像融合技术。

背景技术

医学图像可以辅助医生更好地理解人体结构和组织，其被广泛应用于病情诊断、治疗规划、手术导引等临床应用中。由于成像机理的不同，不同模态的医学图像对于人体器官和组织的关注程度存在差异。单一模态的医学图像往往无法提供全面充足的信息，医生往往需要同时观察多幅图像才能对病情进行准确的判断，这势必给诊断带来了一定难度。由于单模态医学图像的限制，多模态医学图像融合是一个十分有必要进行研究的领域。多模态医学图像融合是指综合同一场景下不同模态医学图像的重要信息，合成一张图像。

一般而言，医学图像可以分为解剖图像和功能图像。解剖图像具有较高的空间分辨率，能够对器官的解剖结构清晰成像，但不能显示人体新陈代谢的功能变化，如计算机断层扫描成像(Computed Tomography,CT)和核磁共振成像(Magnetic Resonance,MR)；功能图像则恰恰相反，它能够很好地进行功能和代谢显示，但分辨率较低，不能准确描述器官的解剖细节，如正电子发射断层成像(Positron Emission Tomography,PET)和单光子发射计算机断层成像(Single-Photon Emission Computed Tomography)。即使CT和MR同为解剖图像，PET和SPECT同为功能图像，它们关注的信息也不相同。CT主要反映人体骨骼和植入物的位置信息，而MR则主要用于对软组织等部位提供清晰的细节信息。MR又包含了多种模态，侧重于不同性质的子区域，常用的模态有T1加权(记为T1)、对比增强T1加权(记为T1c)、T2加权(记为T2)、液体衰减反转恢复脉冲(记为FLAIR)。PET主要反映肿块功能和代谢信息，而SPECT主要提供器官和组织的血流信息。

大多数多模态医学图像融合方法可以概括为三个过程：特征提取、融合、重构。为了实现医学图像融合，过去三十多年来，各种各样的算法被国内外学者提出，一般而言，这些方法可以分为两大类：传统的融合方法和基于深度学习的融合方法。

在传统的医学图像融合框架中，研究学者们提出了许多的分解方式或者变换方式去提取源图像的特征，然后选择某种融合策略来融合这些特征，最后，对融合后的特征进行逆变换以重构出融合图像。根据特征提取方式，传统方法可以被划分成四类：(1)基于稀疏表示的方法；(2)基于多尺度分解的方法，比如金字塔和小波；(3)基于子空间的方法，比如独立成分分析；(4)基于显著特征的方法。传统的医学图像融合方法已经取得了良好的融合效果，但也存在着一些不足，限制了融合性能的进一步提高。首先，传统方法的融合性能非常依赖人为定义的特征，这会限制该方法泛化到其它的融合任务。第二，不同的特征可能需要不同的融合策略来作用。第三，对于基于稀疏表示的融合方法，它的字典学习相对很耗时，因此合成一张融合图像需要较多的时间。

近年来，基于深度学习的方法成为图像融合领域新的研究热点，以卷积神经网络(Convolutional Neural Network，CNN)和生成对抗网络(Generative AdversarialNetwork)为代表的深度学习模型在多聚焦、红外与可见光等图像融合问题中获得了成功的应用，无需人为定义特征和融合策略，表现出了相对于传统融合方法的优势。然而，由于无法构造融合结果的参考图像用于监督学习、人体结构和组织的复杂多样性导致各模态成像特点不易定量描述等因素，目前基于深度学习的医学图像融合方法研究还相对较少，尚处于起步阶段。