[发明专利]一种深度多模态图卷积的脑图分类方法

说明书

本发明提供了一种深度多模态图卷积的脑图分类方法，通过将不同模态间脑图进行融合达到脑图的分类目的。首先进行多模态脑拓扑图构建，利用静息态功能磁共振数据与弥散张量磁共振数据依据其生物学意义构建脑拓扑图；然后，进行多模态融合，包含功能‑结构融合和动态‑静态融合两个部分。本发明不仅使用了多种模态特征，并对其进行了融合，能够充分利用特征间的相似性和互补性，这使得进行脑图分类的结果更加准确。

技术领域

本发明涉及一种深度多模态图卷积的脑图分类方法，属于计算机图像识别中模式识别技术领域。

背景技术

精神疾病已经成为当今世界普遍存在的健康问题，它不仅扰乱患者的生活，还对经济发展与社会稳定造成了巨大的影响。因此，精神疾病诊断问题受到社会各界越来越多的关注。目前精神疾病主要根据量表查询、医生问诊和临床观察的方式诊断，容易受到患者临床症状群差异较大、医生专业水平与患者主观因素等影响，给精准诊断带来了挑战。近年来，脑电图(Electroencephalogram，简称EEG)、脑磁图(Magnetoencephalography，简称MEG)、功能磁共振成像(Functional Magnetic Resonance Imaging，简称fMRI)、弥散张量成像(Diffusion Tensor Imaging，简称DTI)等非侵入性神经成像技术的发展使得精神疾病患者的脑结构与功能连接的异常逐渐被发现。例如，通过fMRI发现患者在脑区活跃程度以及不同区域之间的功能连接异常，通过DTI发现患者脑区的水分子弥散特征和脑区之间的结构连接均存在异常。因此，神经影像获得的大脑网络可以作为更有效、更智能、更客观的工具用于精神疾病诊断，进而转化为脑图分类问题。

基于fMRI图像的现有研究大多通过fMRI数据获取动态或静态功能连接，并依据功能连接获取分类特征后，通过支持向量机等分类器完成分类任务；也有部分研究通过将fMRI数据构建成无向图通过图卷积网络进行分类。此外，DTI数据可以采集组织的水分子弥散特征，获取神经纤维连接强度。现有对脑图分类的研究验证了多模态融合的可行性与必要性。然而，多模态特征为脑图分类问题提供了丰富信息的同时，存在特征维度过高的问题。并且每种模态所表征的生物学意义不同，所表征的特征在区分患者与正常人时存在不一致，导致模态间的特征异构。特征异构与高维冗余会影响脑图分类的精准度和稳定性，现有基于多模态的脑疾病诊断方法难以直接应用。

发明内容

为解决上述问题，本发明提出一种深度多模态图卷积的脑图分类方法，采用DTI数据与fMRI数据两种模态数据，实现脑网络分类，能够提高脑网络分类准确率。

为了达到上述目的，本发明提供如下技术方案：

一种深度多模态图卷积的脑图分类方法，包括以下步骤：

步骤1，依据样本fMRI数据和DTI数据分别构建功能脑拓扑图和结构脑拓扑图，fMRI数据为样本静息态功能磁共振成像数据，DTI数据为弥散张量磁共振成像数据；具体包括如下子步骤：

1-1，利用DTI数据构建结构脑拓扑图，首先，依据大脑分区图谱映射到个体空间，进行脑区划分；然后，采用确定性纤维追踪方法进行神经纤维跟踪；之后，计算得到每个体素的张量与局部弥散特征；最后，计算任意两个脑区之间存在的纤维数量和DTI特征，以脑区为节点，以脑区的弥散特征作为节点特征，脑结构连接作为图的边，获得结构脑拓扑图；

1-2，构建静态功能拓扑图，首先，对fMRI图像进行预处理，将个体配准到标准空间；然后，依据脑分区图谱获得各脑区血氧水平依赖信号平均值；之后，依据各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建静态拓扑图；