[发明专利]影像驱动的脑图谱构建方法、装置、设备及存储介质

权利要求书

1.一种影像驱动的脑图谱构建方法，其特征在于，包括：

获取待预测脑部的多模态数据，所述多模态数据包括sMRI数据、根据DTI数据获取的节点连接矩阵，以及根据fMRI数据获取的节点特征矩阵；

将所述多模态数据输入预设的融合网络中处理，输出得到所述脑部的特征参数；所述融合网络对所述多模态数据的处理包括提取所述多模态数据的非欧式空间特征和欧式空间特征，并对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，所述特征参数用于表征所述脑部的脑连接矩阵和/或疾病类别；所述非欧式空间特征是通过对节点连接矩阵和所述节点特征矩阵进行相互映射得到的，用于表示所述节点连接矩阵和所述节点特征矩阵之间的关联特征；所述欧式空间特征为基于欧式空间从所述sMRI数据中提取的隐层空间的节点特征。

2.如权利要求1所述的方法，其特征在于，所述对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，包括：

对所述非欧式空间特征和欧式空间特征分别进行超图数据转换，得到第一超图矩阵和第二超图矩阵；

对所述第一超图矩阵和所述第二超图矩阵分别进行顶点卷积计算，得到第一超边特征和第二超边特征；

对所述第一超边特征和所述第二超边特征进行超边卷积计算，得到融合特征；

根据所述融合特征得到所述特征参数。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一超边特征和所述第二超边特征进行超边卷积计算，得到融合特征，包括；

将所述第一超边特征和所述第二超边特征进行合并，得到合并矩阵；

对所述合并矩阵进行超边卷积计算，得到所述融合特征。

4.如权利要求3所述的方法，其特征在于，所述提取所述多模态数据的非欧式空间特征，包括：

将所述节点连接矩阵和所述节点特征矩阵进行图卷积处理，得到所述非欧式空间特征。

5.如权利要求3所述的方法，其特征在于，提取所述多模态数据的欧式空间特征，包括：

将所述sMRI数据进行卷积处理，得到语义表征向量；

将所述语义表征向量进行编码处理，得到所述欧式空间特征。

6.根据权利要求4-5任一项所述的方法，其特征在于，所述方法还包括：

获取数据样本，所述数据样本包括样本脑部的sMRI数据、DTI数据、fMRI数据和所述样本脑部的疾病类别标签；

根据所述样本脑部的fMRI数据和DTI数据，获取所述样本脑部的节点特征矩阵、节点连接矩阵和先验概率分布；

从所述先验概率分布中抽样获得隐层空间的节点特征；

利用所述样本脑部的隐层空间的节点特征、节点特征矩阵、节点连接矩阵以及sMRI数据对预设的对抗生成超图融合网络进行对抗训练；

当所述对抗生成超图融合网络收敛时，对所述对抗生成超图融合网络进行迁移处理，获取所述融合网络。

7.一种影像驱动的脑图谱构建装置，其特征在于，包括：

获取单元，用于获取待预测的脑部的多模态数据，所述多模态数据包括sMRI数据、根据DTI数据获取的节点连接矩阵，以及根据fMRI数据获取的节点特征矩阵；

预测单元，用于将所述多模态数据输入预设的融合网络中处理，输出得到所述脑部的特征参数；所述融合网络对所述多模态数据的处理包括提取所述多模态数据的非欧式空间特征和欧式空间特征，并对所述非欧式空间特征和欧式空间特征进行超图融合得到所述特征参数，所述特征参数用于表征所述脑部的脑连接矩阵和/或疾病类别；所述非欧式空间特征是通过对节点连接矩阵和所述节点特征矩阵进行相互映射得到的，用于表示所述节点连接矩阵和所述节点特征矩阵之间的关联特征；所述欧式空间特征为基于欧式空间从所述sMRI数据中提取的隐层空间的节点特征。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。