[发明专利]多通道整合网络的多模态医学图像融合方法及系统

说明书

本发明公开了多通道整合网络的多模态医学图像融合方法及系统，该方法包括：获取待融合的多模态医学图像；引入密集残差块，构建多尺度多通道图像融合网络模型；将待融合的多模态医学图像输入至多尺度多通道图像融合网络模型进行融合处理，输出融合后的多模态医学图像。该系统包括：获取模块、构建模块和融合模块。通过使用本发明，通过将原始多模态医学图像中的不同和互补信息融合到一个图像中，实现更好的图像融合结果。本发明作为多通道整合网络的多模态医学图像融合方法及系统，可广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其涉及多通道整合网络的多模态医学图像融合方法及系统。

背景技术

由于成像机理的不同，单一类型的医学影像往往很难提供为医生提供全面的病情诊断信息；例如，核磁共振MRI是一种能够提供软组织信息和高分辨率的解剖图像，但是无法检测人体代谢活动的活动信息；正电子发射断层扫描图像(PET)拥有丰富的关于肿瘤功能和代谢的信息和单光子发射计算机断层扫描(SPECT)图像可以反映组织和器官血流。但是它们俩分辨率很低，正如上面所提到的问题，多模态医学图像融合技术就能解决。它能融合解剖图像和功能图像，达到既能拥有解剖图像的位置信息，又能保留功能图像的分子活动信息的目的；综上所述，医学图像融合可以提供更全面、更可靠和更好的病变描述，从而帮助生物医学研究和临床诊断，如手术导航，放疗规划和未来健康预测等；

多模态医学图像融合通常在像素级展开，大致分为传统方法和深度学习方法；尽管传统方法已经取得了很好的融合结果，但是由于传统方法的像素活跃水平测量和权重分配策略是分别单独设计的，与融合方法没有强关联，大大限制算法性能；因此传统方法去设计一个理想的能够综合考虑所有关键问题的像素活跃水平测量或权重分配策略是困难的；而由于卷积神经网络具备优秀的特征提取和数据表示能力，越来越多的基于深度学习的融合方法被提出，但是现有的神经网络框架仍存在一些问题，例如通常将源图像馈送到单个网络中，没有考虑到尺度间的信息，这样会导致一些重要信息的丢失；没有专门设计的策略来保存源图像中的细粒度特征，这会导致细节丢失和低对比度；因使用全局平均池化的通道注意力机制而导致信息丢失。

发明内容

为了解决上述技术问题，本发明的目的是提供多通道整合网络的多模态医学图像融合方法及系统，通过将原始多模态医学图像中的不同和互补信息融合到一个图像中，实现更好的图像融合结果。

本发明所采用的第一技术方案是：多通道整合网络的多模态医学图像融合方法，包括以下步骤：

获取待融合的多模态医学图像；

引入密集残差块，构建多尺度多通道图像融合网络模型；

将待融合的多模态医学图像输入至多尺度多通道图像融合网络模型进行融合处理，输出融合后的多模态医学图像。

进一步，所述获取待融合的多模态医学图像这一步骤，其具体包括：

获取具有RGB颜色空间的多模态医学图像；

对具有RGB颜色空间的多模态医学图像进行颜色空间转换处理，得到具有YCrCb颜色空间的多模态医学图像，所述YCrCb颜色空间的多模态医学图像包括Y通道、Cr通道和Cb通道；

将YCrCb颜色空间的多模态医学图像的Y通道图像与RGB颜色空间的多模态医学图像进行合并，得到待融合的多模态医学图像。

进一步，所述引入密集残差块，构建多尺度多通道图像融合网络模型这一步骤，其具体包括：

构建多尺度多通道图像融合网络模型，所述多尺度多通道图像融合网络模型包括第一卷积层、归一化层、线性修改单元、密集残差块、通道提取模块和第二卷积层；