[发明专利]一种基于图像融合技术的多模态图像分割方法

说明书

本发明公开了一种基于图像融合技术的多模态图像分割方法，包括：第一步，融合多模态图像：数据获取及预处理，建立基于像素级的融合网络，训练网络和输出融合模态图像；第二步，分割多模态图像：数据获取及预处理，建立基于特征级融合的多模态特征选择模块与分割网络，分割网络训练和分割图像后处理。本发明从像素级融合和特征级融合两个角度提升了图像分割的精度，为图像的进一步分析处理提供了有力的支持。

技术领域

本发明涉及多模态图像分割及深度学习技术领域，具体涉及一种基于图像融合技术的多模态图像分割方法。

背景技术

图像分割是将图像分成若干个特定的、感兴趣的且具有独特性质的区域。图像分割是图像处理到图像分析的关键步骤。随着信息技术的飞速发展，数据资源迎来了井喷式的增长，其形式也日益多样化，多模态数据已成为数据资源的主流形式。多模态数据具有更多的信息，更强的特征表达能力。不同模态数据能反应出不同的数据特点，多模态数据更易于寻找规律，解决问题。利用不同模态之间的互补信息，剔除冗余信息，这对图像分割过程中分割目标效果的提升具有重要作用。因此，研究同时涉及到多种输入模态的多模态学习方法，增强图像分割技术理解多源异构海量数据的能力，这具有巨大的应用前景和广泛的研究价值。

医学图像数据中多模态磁共振成像(magnetic resonance imaging，MRI)技术经常生成多种模态图像，以更好的反应组织的病理信息与组织结构信息。比较常见的3D MRI模态包括T1加权成像(T1)，对比后T1加权成像(T1ce)，T2加权成像(T2)和T2液体衰减反转恢复成像(FLAIR)。T1、T2是用于测量电磁波的物理量，它们可以作为成像的数据。T1图像能很好地反应出各种断层解剖结构，T2图像能很好地反应出水肿等病理区域的位置及大小。T1ce能很好地反应出血流丰富的区域，也就是病理内部区域，其对鉴定是否为病变区域有重要作用。FLAIR图像能清晰地表现出浮肿区域，其能更好地反应病理区域周遭的情况。单个模态的MR图像只能重点反应出个别图像特征，多模态图像可以得到更细致的组织结构和病理信息。

与自然图像相比，医学图像更加复杂抽象。这是由于人体的解剖结构和组织较为复杂，不同个体之间差异比较大。成像设备也可能会受噪音、局部体效应、场偏移效应和组织运动等因素影响成像质量。医学图像在正样本像素和负样本像素之间存在不平衡问题，类不平衡的问题会为基于深度学习的图像分割方法带来不利影响。近年来，已经提出了很多图像分割的方法。传统的基于阈值、区域和像素聚类的图像分割方法很难在图像分割问题中取得令人满意的结果。深度学习方法凭借其在图像分割上的显著优势逐渐成为图像分割技术的主流方式，其通过识别原始图像中潜在的规律，提取图像特征，以达到准确高效的图像分割效果。一些方法采用2D切片或者3D块方式，建立卷积神经网络来预测中心体素类别。但是这种方式忽略了不同切片或者块之间的联系，为了更好的利用全局信息，Encoder-Decoder的网络结构表现出的性能更加优异，比如U-Net，V-Net等。现存方法大多是直接将多模态图像或者提取的浅层特征在一个维度上连接起来输入至分割网络中，没有考虑到多个模态之间的差异性与互补性，对多模态图像的使用不充分不精细，这对图像分割的效果提升显然是不利的。

发明内容

本发明为了克服多模态图像分割对多模态图像信息使用不充分不精细的问题，提供一种基于图像融合技术的多模态图像分割方法，以期能从像素级融合与特征级融合两个角度提升图像分割精度，从而为图像分析提供可靠支持。

本发明为解决上述问题采用如下技术方案：

本发明一种基于图像融合技术的多模态图像分割方法的特点包括以下步骤：

步骤1：融合多模态图像：

步骤1.1：数据获取及预处理：