[发明专利]一种基于多视角图像特征融合的脑膜瘤自动分级方法

说明书

本发明公开了一种基于多视角图像特征融合的脑膜瘤自动分级方法，包括如下步骤：S1：针对模型输入端，将Dicom格式数据的病变图像转换成PNG数据后无需进行任何图像增强以及数据扩增处理，作为三个通路输入进多视角图像特征融合模型；S2：去掉ResNet的全连接层以及最大池化，作为每个视图特征提取的基础网络，引入迁移学习，并在模型上增加归一化的注意力模块抑制相关视图的不显著特征，以提取到每个视图最佳的特征信息；S3：在对每个视图提取的特征信息进行融合后，进行特征再提取，进一步过滤干扰信息，本发明利用三个不同通路的预训练残差神经网络模型和一个融合网络组成模型，端到端地训练融合模型，可以达到精准区分低级别脑膜瘤和高级别脑膜瘤的效果。

技术领域

本发明涉及深度学习和医学数据分类检测技术领域，尤其涉及一种基于多视角图像特征融合的脑膜瘤自动分级方法。

背景技术

脑膜瘤是成年人最常见的原发性颅内肿瘤，约占所有颅内肿瘤的33.8％。，根据2016年世界卫生组织(WHO)标准，可以将其分成I级、II级和III级。一般来说，低级别的脑膜瘤(I级)经过完全的手术切除可以获得良好的生存结果，而高级别脑膜瘤(II级、III级)往往更容易复发，复发率分别为30％-40％和50％-80％，五年后的总体生存率分别为78.4％和44.0％。已有详细研究表明，II级和III级脑膜瘤与复发性和侵袭性风险增加有关，即使在完全切除后，也需要额外的治疗策略，如放疗或者化疗。因此，手术前准确分级对于临床环境中的脑膜瘤患者至关重要。

磁共振成像(MRI)能够提供脑肿瘤解剖、细胞结构和血管供应的详细信息，是一项非常有价值的疾病诊断、治疗和检测的重要工具。一些研究人员已经证明，MRI图像可以为脑膜瘤的评估提供有价值的信息，但不同级别脑膜瘤的放射学表现很大程度是重叠的，这可能导致误诊和不恰当的治疗策略。利用MRI图像提供的信息进行脑膜瘤准确的分级，人工智能可能会是一个有效的解决方法。

在最近的研究中，深度学习已经成功用于脑膜瘤分级的研究，深度学习可以使用大量标注数据来提高预测性能，在医学分类中优于传统方法，也广泛应用于实现脑膜瘤准确分级的相关研究，并取得了显著的成果。但没有任何方法将不同方向的MRI图像结合起来，不同扫描方向的脑膜瘤MRI图像含有不同的特征信息，将各个视图的互补信息融合起来，是解决当前脑膜瘤分级精度较低的有效方法。因此，急需开发一种基于多视角图像特征融合的脑膜瘤自动分级方法以辅助医生在术前对患者进行病理诊断。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供一种基于多视角图像特征融合的脑膜瘤自动分级方法，利用三个不同通路的预训练残差神经网络模型和一个融合网络组成模型，端到端地训练融合模型，可以达到精准区分低级别脑膜瘤和高级别脑膜瘤的效果，分级精度高，应用前景广阔，有利于推广应用。

为了实现上述目的，本发明提供的一种基于多视角图像特征融合的脑膜瘤自动分级方法，包括如下步骤：

S1：针对模型输入端，将Dicom格式数据的病变图像转换成PNG数据后无需进行任何图像增强以及数据扩增处理，作为三个通路输入进多视角图像特征融合模型；

S2：去掉ResNet的全连接层以及最大池化，作为每个视图特征提取的基础网络，引入迁移学习，并在模型上增加归一化的注意力模块抑制相关视图的不显著特征，以提取到每个视图最佳的特征信息；

S3：在对每个视图提取的特征信息进行融合后，进行特征再提取，进一步过滤干扰信息。

优选地，所述S1中，采用新的模型输入方式，对于不同方向的核磁数据以不同的输入端并行进入网络，同时提取各自的特征信息。

优选地，所述S2中，不同方向的特征提取采用不同深度的网络，并且针对其中两个方向加入NAM通道注意力机制模块，具体步骤为：

S21：横截面输入的支路网络采用浅层网络ResNet 18，并在网络的末端去掉全连接层；