[发明专利]多模态脑网络计算方法、装置、设备及存储介质

权利要求书

1.一种多模态脑网络计算方法，其特征在于，其用于训练脑部疾病预测模型，所述脑部疾病预测模型包括特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块；所述方法包括：

将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，同时预处理预先获取的脑部功能磁共振数据，得到脑区功能特征；

利用所述图表征扩散学习网络在拓扑空间上对所述脑区结构特征和所述脑区功能特征进行分解，得到结构独有特征、结构通用特征、功能独有特征和功能通用特征；

利用所述脑网络重建网络将所述结构独有特征、所述结构通用特征、所述功能独有特征和所述功能通用特征进行对齐和自适应融合，得到结构-功能脑连接矩阵；

将所述结构-功能脑连接矩阵输入至所述脑网络边界感知模块进行预测，得到患有被测试疾病的预测概率；

基于所述预测概率和预先构建的损失函数反向更新所述特征提取网络、所述图表征扩散学习网络、所述脑网络重建网络、所述脑网络边界感知模块的参数。

2.根据权利要求1所述的多模态脑网络计算方法，其特征在于，所述将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，包括：

根据解剖学脑区知识，对脑区中心点坐标和脑区相对体积进行归一化编码得到知识嵌入向量；

将所述磁共振弥散张量成像数据输入所述特征提取网络的卷积层进行处理，得到通道向量；

将所述知识嵌入向量和所述通道向量输入所述特征提取网络的Transformer网络中进行处理，得到所述脑区结构特征。

3.根据权利要求1所述的多模态脑网络计算方法，其特征在于，所述图表征扩散学习网络包括离散结构图表征扩散学习模块、时序功能图表征扩散学习模块和空间结构-动态时序表征解析模块，所述离散结构图表征扩散学习模块用于在拓扑空间上对所述脑区结构特征进行分解，得到所述结构独有特征和所述结构通用特征，所述时序功能图表征扩散学习模块用于在拓扑空间对脑区功能特征进行分解，得到所述功能独有特征和所述功能通用特征，所述空间结构-动态时序表征解析模块用于将所述结构通用特征和所述结构独有特征重构为新的结构连接矩阵、且将所述功能通用特征和所述功能独有特征重构为新的脑区功能特征。

4.根据权利要求3所述的多模态脑网络计算方法，其特征在于，所述离散结构图表征扩散学习模块在拓扑空间上对所述脑区结构特征进行分解，得到所述结构独有特征和所述结构通用特征，具体包括：

对所述脑区结构特征进行向量内积运算，得到结构连接矩阵；

将所述脑区结构特征和所述结构连接矩阵输入所述离散结构图表征扩散学习模块的第一图自注意力网络；

将所述第一图自注意力网络的输出分别输入所述离散结构图表征扩散学习模块的第一图卷积网络，得到结构通用变量和结构独有变量；

基于重参数技巧，根据所述结构通用变量采样得到所述结构通用特征，根据所述结构独有变量采样得到所述结构独有特征；

所述时序功能图表征扩散学习模块在拓扑空间对脑区功能特征进行分解，得到所述功能独有特征和所述功能通用特征，具体包括：

对所述脑区功能特征进行向量内积运算，得到功能特征矩阵；

将所述脑区功能特征和所述功能特征矩阵输入所述时序功能图表征扩散学习模块的第二图自注意力网络；

将所述第二图自注意力网络的输出分别输入所述时序功能图表征扩散学习模块的第二图卷积网络，得到功能通用变量和功能独有变量；

基于重参数技巧，根据所述功能通用变量采样得到所述功能通用特征，根据所述功能独有变量采样得到所述功能独有特征。

5.根据权利要求3所述的多模态脑网络计算方法，其特征在于，所述脑网络重建网络包括脑网络重建模块和多模态表征分布识别模块，所述脑网络重建模块用于根据所述结构独有特征、所述结构通用特征、所述功能独有特征和所述功能通用特征重建结构-功能脑连接矩阵，所述多模态表征分布识别模块用于以预设的基准脑连接矩阵为目标分布，对所述脑网络重建模块重建的所述结构-功能脑连接矩阵进行约束。