[发明专利]一种基于多视角图像特征融合的脑膜瘤自动分级方法

权利要求书

1.一种基于多视角图像特征融合的脑膜瘤自动分级方法，其特征在于，包括如下步骤：

S1：针对模型输入端，将Dicom格式数据的病变图像转换成PNG数据后无需进行任何图像增强以及数据扩增处理，作为三个通路输入进多视角图像特征融合模型；

S2：去掉ResNet的全连接层以及最大池化，作为每个视图特征提取的基础网络，引入迁移学习，并在模型上增加归一化的注意力模块抑制相关视图的不显著特征，以提取到每个视图最佳的特征信息；

S3：在对每个视图提取的特征信息进行融合后，进行特征再提取，进一步过滤干扰信息。

2.根据权利要求1所述的一种基于多视角图像特征融合的脑膜瘤自动分级方法，其特征在于，所述S1中，采用新的模型输入方式，对于不同方向的核磁数据以不同的输入端并行进入网络，同时提取各自的特征信息。

3.根据权利要求1所述的一种基于多视角图像特征融合的脑膜瘤自动分级方法，其特征在于，所述S2中，不同方向的特征提取采用不同深度的网络，并且针对其中两个方向加入NAM通道注意力机制模块，具体步骤为：

S21：横截面输入的支路网络采用浅层网络ResNet 18，并在网络的末端去掉全连接层；

S22：在冠状面和矢状面这两个输入通路中，采用深层网络ResNet 101，并且在每个Layer后加入NAM通道注意力机制模块来抑制各自通路中不显著的特征信息，在网络的末端去掉全连接层；

S23：在冠状面和矢状面提取特征后，通过转换层，由7×7卷积层组成，并且加入批量归一化层以及Relu激活函数，卷积层用于将上层特征降维，归一化层用以增强网络反向传播的能力，增加激活函数为了更好地提高神经网络的非线性。

4.根据权利要求1所述的一种基于多视角图像特征融合的脑膜瘤自动分级方法，其特征在于，所述S3中，采用两种不同特征融合方法的组合，并在两种融合后设计不同的特征再提取层，具体步骤为：

S31：对三个视角图像提取的特征信息分别采用cancat和add两种不同的特征融合方法，concat方法是三个视图的特征信息拼接起来，不改变每个视图的单个特征，融合后的特征通道数为单一视图特征的三倍，add方法是将三个视图的特征信息对应元素相加，得到的特征通道数等于单一视图特征通道数，两种融合方式后经过卷积的表达式如下：

式中：Fc代表concat方法的输出，Fa代表add方法的输出，Xi、Yi和Zi分别为每个并行通路的输入，K表示卷积核，c表示输入特征的通道数；

S32：在concat和add后，分别设计特征再提取层A和特征再提取层B，特征再提取层分别由1×1卷积层、3×3卷积层和1×1卷积层串联组成，A的卷积核数分别为1024、1024和512，B的卷积核数分别为256、256和512；

S33：在经过不同特征再提取层A和B后，通过concat方法将再提取的特征拼接，之后通过两层全连接层进行分级检测。