[发明专利]一种深度多模态图卷积的脑图分类方法

权利要求书

1.一种深度多模态图卷积的脑图分类方法，其特征在于，包括以下步骤：

步骤1，依据样本fMRI数据和DTI数据分别构建功能脑拓扑图和结构脑拓扑图，fMRI数据为样本静息态功能磁共振成像数据，DTI数据为弥散张量磁共振成像数据；具体包括如下子步骤：

1-1，利用DTI数据构建结构脑拓扑图，首先，依据大脑分区图谱映射到个体空间，进行脑区划分；然后，采用确定性纤维追踪方法进行神经纤维跟踪；之后，计算得到每个体素的张量与局部弥散特征；最后，计算任意两个脑区之间存在的纤维数量和DTI特征，以脑区为节点，以脑区的弥散特征作为节点特征，脑结构连接作为图的边，获得结构脑拓扑图；

1-2，构建静态功能拓扑图，首先，对fMRI图像进行预处理，将个体配准到标准空间；然后，依据脑分区图谱获得各脑区血氧水平依赖信号平均值；之后，依据各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建静态拓扑图；

1-3，构建动态功能脑拓扑图组，首先，依据fMRI图像与大脑图谱分区映射获得各大脑分区血氧水平依赖信号平均值；接着，使用滑动窗思想将时间序列信号划分为多个窗口；之后，依据每个窗口内各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建脑拓扑图，所有窗口的脑拓扑图即为脑拓扑图组；

步骤2，根据步骤1构建的多模态脑拓扑图作为输入，采用个性共性图卷积方式融合功能、结构特征，具体包括如下子步骤：

2-1，采用空域图卷积，利用X_sf，S＝IX_sfh_sf，0+A_sfX_sfh_sf，1+b_sf更新个性静态功能特征，利用X_s，S＝IX_sh_s，0+A_sX_sh_s，1+b_s更新个性结构特征，其中，个性静态功能脑拓扑图和个性结构脑拓扑图与静态功能脑拓扑图和结构脑拓扑图具有相同的邻接矩阵，仅结点特征进行了更新；其中，V为结点，X_sf为静态功能拓扑图结点特征，A_sf为静态功能拓扑图邻接矩阵，A_s为结构脑拓扑图邻接矩阵，X_s为结构脑拓扑图邻接矩阵；

2-2，利用共性图卷积，采用相同的参数对静态功能脑拓扑图和结构脑拓扑图进行特征提取，通过X_sf，C＝IX_sfh_C，0+A_sfX_sfh_C，1+b_C，X_s，C＝IX_sh_C，0+A_sX_sh_C，1+b_C两式获得共性静态功能脑拓扑图和共性结构脑拓扑其中，I为单位矩阵，h_sf，0，h_sf，1为可学习的个性静态功能滤波参数，b_sf为个性静态功能偏置，h_s，0，h_s，1为可学习的个性结构滤波参数，b_s为个性结构偏置，X_sf，S为更新后的个性静态功能特征，X_s，S为更新后的个性结构特征；

2-3，对共性图卷积进行一致性约束，采用L2范数标准化X_sf，C和X_s，C为X_sf，Cnor和X_s，Cnor；然后，利用这两个标准化矩阵通过Sim_sf＝X_sf，Cnor·X_sf，Cnor^T和式Sim_s＝X_s，Cnor·X_s，Cnor^T捕获结点间相似性Sim_sf和Sim_s，最后，具有共性意味着两个相似性矩阵应该是相似的，以此产生了的约束，该约束将作为Loss函数的一部分；

2-4，采用级联的方式结合共性个性特征得到最终输入和其中X′_sf＝X_sf，S||X_sf，C，X′_s＝X_s，S||X_s，C；

步骤3，在动态分支中使用依据静态特征获得注意力值的方式来完成动态-静态融合，采用静态嵌入特征作为依据，通过式att_df＝softmax(fc(X′_sf||X′_s))计算获得注意力值，空间图注意力卷积式更新为其中，为结点特征X_k的第c维，表示第c维输入特征对应的滤波器切片，b表示偏置；

在多模态特征更新完成后，再经过池化步骤得到具有高概括性的空间图表示，最后使用全连接层完成分类。