[发明专利]基于结构-功能脑网络的精神疾病识别方法

权利要求书

1.基于结构-功能脑网络的精神疾病识别方法，其特征在于，包括以下步骤：

S1、结构-功能特征深度融合中对于功能脑网络和结构脑网络特征的提取，令A^F∈R^N×N为功能脑网络的连接矩阵，A^S∈R^N×N为结构脑网络的连接矩阵，N为脑网络节点的个数，为从连接矩阵中获取脑网络的深度特征，使用由Kawahara提出的边到边卷积E2E，边到节点卷积E2N，节点到图卷积N2G获取每一步的特征图，分别记结构脑网络和功能脑网络经过E2E卷积后的特征为S^E∈R^N×N×C1′，F^E∈R^N×N×C1，其中C1和C1′为特征的通道数；

S2、在特征学习过程中，添加深度融合模块，用以在特征学习过程中融合两类脑网络特征，该模块主要有四个步骤：压缩信息、多模态信息融合、生成通道激励信号和重构特征图，在该识别方法中，使用了两个深度融合模块用以重构结构脑网络和功能脑网络的连接边层和节点层的特征图；

S3、在最终识别阶段，对于全图层的特征图，该层的特征图看成是向量，通过多模态分解双线性池化，用来融合结构和功能脑网络信息获取一个最终输入分类层的多模态脑网络联合表示；

S4、输入到分类层,通过Softmax函数获得疾病识别结果，并将预测标签与真实标签的交叉熵损失作为损失函数进行训练，获得一个深度融合多模态脑网络特征准确识别精神疾病的模型。

2.根据权利要求1所述的基于结构-功能脑网络的精神疾病识别方法，其特征在于，步骤S2所中特征学习过程中深度融合的具体步骤如下：

S21、压缩信息，其目的在于将特征的所有信息压缩到通道层，其可以使用最为常见的全局平均池化完成，公式如下：

其中，和为结构特征图S^E和功能特征图F^E在通道c处节点i与节点j的连接特征值，N为脑网络节点的个数，LS^E,LF^E分别为结构脑网络和功能脑网络压缩信息后得到的特征图；

S22、多模态信息融合，使用一个线性模型融合结构和功能脑网络的压缩信息并生成一个融合后的表示Z，其公式如下：

Z＝W[LS^E,LF^E]+b                     (3)

其中，W和b分别为权重参数和偏差参数；

S23、生成通道激励信号，根据步骤S22融合的多模态信息生成对结构脑网络和功能脑网络特征图各自的通道激励信号，其公式如下：

ES^E＝W_SZ+b_S                       (4)

EF^E＝W_FZ+b_F                      (5)

其中，W_S和W_F为权重参数，b_S，b_F为全连接层的偏差值，ES^E和EF^E分别为结构脑网络和功能脑网络特征图各自的通道激励信号；

S24、重构原始特征图，其主要基于通道激励信号重构两个模态的原始特征图，公式如下：

其中，σ为非线性激活函数，⊙为通道层的积运算，和分别为结构脑网络和功能脑网络重构后的原始特征图。

3.根据权利要求1所述的基于结构-功能脑网络的精神疾病识别方法，其特征在于，步骤S3中所述的在最终识别阶段进行融合特征的具体步骤如下：

S31、结构脑网络和功能脑网络的全图层的特征向量分别S^G∈R^C3′，F^G∈R^C3，当使用简单的双线性池化时，其公式为：

q＝(S^G)^TW_SFF^G           (8)

其中，W_SF∈R^C3′×C3为双线性映射矩阵,T为转置操作,q为使用简单双线性池化得到的融合表示；

S32、双线性映射矩阵W_SF∈R^C3′×C3分解成两个低秩矩阵U∈R^C3′×K,V∈R^C3×K,因此上式改写成如下形式：

其中，指两个向量的元素积，1^T∈R^K指所有值为1的向量；

S33、为了获取最终的融合向量Q∈R^o，需要有两个三维张量其中通过矩阵变维转化为一个二维矩阵而转为并通过SumPool(求和池化)获得最终融合表示Q，表示为：

该向量融合了结构脑网络和功能脑网络的信息。