[发明专利]一种基于权值预测网络的磁共振图像融合方法

说明书

本发明提供一种基于权值预测网络的磁共振图像融合方法，首先设计去伪影网络，对输入的多模态图像进行伪影辨识和抑制；其次构造权值预测网络，生成不同对比度图像的融合权值预测图，细节丰富的区域赋予较高的权重；最后建立融合网络，输入经过伪影抑制的图像与其对应的权值预测图，获得兼具各模态对比度优势的合成图像。本发明通过对磁共振图像进行伪影预处理，有效提高图像融合的适用性；通过整合不同对比度图像的优势，能够更全面准确的描述生物组织结构。与传统方法相比，不需要设计繁琐的特征提取，具有显著的抗伪影能力，融合效果优良，有助于以图像为引导的医学诊断和治疗。

技术领域

本发明涉及磁共振图像处理技术领域，尤其是涉及一种基于权值预测网络的磁共振图像融合方法。

背景技术

随着传感器和计算机技术的快速发展，医学成像已成为包括诊断，治疗计划和手术导航在内的各种临床应用中不可替代的组成部分。由于成像机制的不同，具有不同模态的医学图像关注不同类别的器官/组织信息。为了向临床医生提供足够的信息，通常需要使用多种模态的医学图像，诸如X射线，计算机断层扫描(CT)，磁共振(MR)，正电子发射断层扫描(PET)，单光子发射计算机断层扫描(SPECT)等。在医学图像领域，磁共振成像(MRI)是头颈部软组织病变的最佳影像学检查方法，特别地，磁共振成像有很多不同的成像模态。因此，它不仅是常规的、重要的临床诊断工具，而且已被广泛地应用于神经、精神疾病以及认知神经科学等科研领域。多模态MRI在临床诊治和研究方面也起着重要的不可替代的作用。多模态MRI不仅能显示结构和病变的形态学特点，而且可全面反映血流灌注、血液动力学、代谢情况和水分子改变等功能代谢信息，在全身疾病的诊断疗效评价预测和发生机制研究中发挥着越来越重要的作用。

随着深度神经网络的提出，深度学习在特征学习上的优势逐渐为人们所熟知。深度学习解决了以往进行特征提取时需要手工设计提取规则的问题，相较于传统的特征提取方法，利用深度学习得到的低维抽象特征性能良好，具有深度结构的神经网络还可以有效的揭示数据之间的隐藏内在结构，从而抽取出对于任务有用的高层抽象特征。卷积神经网络是各种深度神经网络应用最广泛的一种，近年来各种经过改进的网络被不断提出。2015年何恺明等人提出残差学习^[1]的框架比较好的解决了神经网络的退化问题，将网络层数推广到前所未有的规模。2017年Gao Huang等人提出密集连接网络[2]将每一层都接受前面所有层的输出，缓解梯度消失问题，加强特征传播，使用特征复用来减少计算量。经过良好设计的网络结构在多种图像处理任务中已经取得了优良的效果，因此图像融合与卷积神经网络的结合展现出广阔的研究前景。

多模态医学图像融合是将单个或多个成像模式中的多个图像进行融合，其目的是对同一组织结构产生更全面、准确的描述，促进以图像为引导的医学诊断和治疗。多模态医学图像融合方法涉及到图像处理、计算机视觉、模式认知、机器学习和人工智能等多个领域，具有广泛的应用前景。目前已经有不少传统图像处理方法^[3-6]实现多模态医学图像融合，也有方法^[7-9]将多模态医学图像融合与脉冲耦合神经网络结合，取得了不错的效果。但是这些方法都存在流程复杂，需要人工设计特征提取规则等缺点。2017年刘羽等人提出了基于卷积神经网络的医学图像融合^[10]，但其也使用了传统的图像处理方法，并且其训练数据来源于自然图像。在其他图像融合领域，2017年刘羽等人提出了基于卷积神经网络的多聚焦图像融合^[11]。2018年Ma Jiayi等人提出了基于生成对抗神经网络的红外与可见光图像融合^[12]。上述融合方法在融合时均没有考虑图像中可能存在伪影这一问题，目前还没有出现基于深度学习的多模态MRI的融合方法。

参考文献：

[1]He K,Zhang X,Ren S,et al.Deep Residual Learning for ImageRecognition[J].2015.