[发明专利]多模态脑网络计算方法、装置、设备及存储介质

说明书

本发明公开了一种多模态脑网络计算方法、装置、设备及存储介质，该方法用于训练脑部疾病预测模型，其通过从磁共振弥散张量成像数据和脑部功能磁共振数据分别提取到脑区结构特征和脑区功能特征后，利用图表征扩散学习网络对脑区结构特征和脑区功能特征中的通用特征和独有特征进行分离，再基于对齐算法和自适应加权技术实现多模态通用、独有特征的有效融合，充分挖掘多模态数据之间的互补信息，从而使得模型在训练过程中能够学习到疾病相关的有效特征，使得最终训练得到的脑部疾病预测模型的精度更高，模型预测效果更好。

技术领域

本申请涉及机器学习技术领域，特别是涉及一种多模态脑网络计算方法、装置、设备及存储介质。

背景技术

目前，脑部疾病已经成为当今世界普遍存在的健康问题，它严重危及到了患者的生命安全。因此，对于脑部疾病的检测诊断受到越来越多的研究关注，脑连接研究方向正是其中一个方面，通过分析脑连接有助于神经退行性疾病的诊断和病理溯源，以阿尔茨海默症(Alzheimer'sdisease,AD)为例，阿尔茨海默症患者在疾病发展过程中会出现脑连接变化。这些变化特征可以通过fMRI、DTI等脑影像得到，传统的常规方法是由专业医师通过软件模板设置特定的参数、手动配准、图像校正得到有效连接。这种传统的病理特征分析方法高度依赖于专业医师的经验，有着很高的时间成本和人力成本，且输出效果受软件模板的参数设置影响很大，不利于个性化精准诊疗。

随着人工智能技术的发展，已出现众多无需依赖专业医师的脑连接智能计算系统。预测异常脑连接有助于提升神经退行性疾病的诊断效果，这里以阿尔兹海默症(Alzheimer's disease，AD)为例介绍脑神经退行性疾病诊断的相关技术背景。早期AD患者会表现出脑部结构或功能连接的变化特征，这些变化特征通过结构磁共振技术(DiffusionTensor Imaging,DTI)或者功能磁共振技术(functional magnetic resonance imaging,fMRI)反映出来。当前主流的方法是通过软件工具箱设置特定的参数，从结构影像或者功能影像中计算脑区之间的连接关系，基于这些脑连接关系构建脑连接诊断模型，挖掘疾病相关的异常特征，进而辅助神经退行性疾病的早期诊断。目前，基于脑连接方法进行AD诊断的研究提出了一种基于多模态的方法，其利用DTI和fMRI双模态影像数据构建脑区之间的连接边和脑区节点特征，并基于图卷积(GCN，Graph convolutional network)的方法融合两种模态的拓扑特征，并用于AD的诊断。但是，该多模态融合方法是将各个模态的通用特征和独有特征混合在一起加权融合，这种方法会带来通用特征冗余或者独有特征受损的问题，导致融合效果不佳。

发明内容

有鉴于此，本申请提供一种多模态脑网络计算方法、装置、设备及存储介质，以解决现有脑部疾病预测方法预测效果不佳的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种多模态脑网络计算方法，其用于训练脑部疾病预测模型，脑部疾病预测模型包括特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块；方法包括：将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，同时预处理预先获取的脑部功能磁共振数据，得到脑区功能特征；利用图表征扩散学习网络在拓扑空间上对脑区结构特征和脑区功能特征进行分解，得到结构独有特征、结构通用特征、功能独有特征和功能通用特征；利用脑网络重建网络将结构独有特征、结构通用特征、功能独有特征和功能通用特征进行对齐和自适应融合，得到结构-功能脑连接矩阵；将结构-功能脑连接矩阵输入至脑网络边界感知模块进行预测，得到患有被测试疾病的预测概率；基于预测概率和预先构建的损失函数反向更新特征提取网络、图表征扩散学习网络、脑网络重建网络、脑网络边界感知模块的参数。

作为本申请的进一步改进，将预先获取的磁共振弥散张量成像数据输入至特征提取网络，得到脑区结构特征，包括：根据解剖学脑区知识，对脑区中心点坐标和脑区相对体积进行归一化编码得到知识嵌入向量；将磁共振弥散张量成像数据输入特征提取网络的卷积层进行处理，得到通道向量；将知识嵌入向量和通道向量输入特征提取网络的Transformer网络中进行处理，得到脑区结构特征。