[发明专利]影像驱动的脑图谱构建方法、装置、设备及存储介质有效
申请号: | 202110026756.3 | 申请日: | 2021-01-09 |
公开(公告)号: | CN112735570B | 公开(公告)日: | 2022-02-22 |
发明(设计)人: | 王书强;左乾坤;甘敏 | 申请(专利权)人: | 深圳先进技术研究院 |
主分类号: | G16H30/40 | 分类号: | G16H30/40;G06N3/08 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 李艳丽 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 影像 驱动 图谱 构建 方法 装置 设备 存储 介质 | ||
本申请适用于医疗影像技术领域,提供了影像驱动的脑图谱构建方法、装置、设备及存储介质。该方法包括:获取待预测的脑部的多模态数据,多模态数据是根据脑部在至少三种不同模态下采集到的影像数据得到的;将多模态数据输入预设的融合网络中处理,输出得到脑部的特征参数;融合网络对多模态数据的处理包括提取多模态数据的非欧式空间特征和欧式空间特征,并对非欧式空间特征和欧式空间特征进行超图融合得到特征参数,特征参数用于表征脑部的脑连接矩阵和/或疾病类别。将不同空间的特征映射为超图数据结构进行超图融合,避免了不同空间的特征之间可能存在的异构性,从而获得多模态数据之间互补性的融合特征。
技术领域
本申请属于医疗影像技术领域,尤其涉及一种影像驱动的脑图谱构建方法、装置、设备及存储介质。
背景技术
随着医疗影像技术发展,不同模态的数据能够描述脑部内部某种疾病的信息,可以用来辅助疾病诊断和治疗。然而单一模态的数据所能够提供的信息往往有限,因此,通过融合不同模态的数据,获得融合特征成为目前较为热门的研究方向。
目前,常用的模态融合方法是通过加权求和的方式直接融合不同模态的数据。然而不同模态的数据之间可能具有异构性,这就导致无法准确提取不同模态数据融合特征,因此无法构建准确的脑图谱,造成疾病诊断的误判。
发明内容
本申请提供一种影像驱动的脑图谱构建方法、装置、设备及存储介质,解决由于不同模态的数据之间可能具有异构性,导致无法准确提取不同模态数据的融合特征,从而无法构建准确的脑图谱,造成疾病诊断的误判的问题。
第一方面,本申请提供一种影像驱动的脑图谱构建方法,包括:获取待预测的脑部的多模态数据,多模态数据是根据脑部在至少三种不同模态下采集到的影像数据得到的;将多模态数据输入预设的融合网络中处理,输出得到脑部的特征参数;融合网络对多模态数据的处理包括提取多模态数据的非欧式空间特征和欧式空间特征,并对非欧式空间特征和欧式空间特征进行超图融合得到特征参数,特征参数用于表征脑部的脑连接矩阵和/或疾病类别。
可选的,对非欧式空间特征和欧式空间特征进行超图融合得到特征参数,包括:对非欧式空间特征和欧式空间特征分别进行超图数据转换,得到第一超图矩阵和第二超图矩阵;对第一超图矩阵和第二超图矩阵分别进行顶点卷积计算,得到第一超边特征和第二超边特征;对第一超边特征和第二超边进行超边卷积计算,得到融合特征;根据融合特征得到特征参数。
可选的,对第一超边特征和第二超边进行超边卷积计算,得到融合特征,包括;将第一超边特征和第二超边特征进行合并,得到合并矩阵;对合并矩阵进行超边卷积计算,得到融合特征。
可选的,影像数据包括脑部的sMRI数据、DTI数据和fMRI数据;多模态数据包括根据DTI数据获取的节点连接矩阵,根据fMRI数据获取的节点特征矩阵和sMRI数据。
可选的,提取多模态数据的非欧式空间特征,包括:将节点连接矩阵和节点特征矩阵进行图卷积处理,得到非欧式空间特征。
可选的,提取多模态数据的欧式空间特征,包括:将sMRI数据进行卷积处理,得到语义表征向量;将语义表征向量进行编码处理,得到欧式空间特征。
可选的,该方法还包括:获取数据样本,数据样本包括样本脑部的sMRI数据、DTI数据、fMRI数据和样本脑部的疾病类别标签;根据样本脑部的fMRI数据和DTI数据,获取样本脑部的节点特征矩阵、节点连接矩阵和先验概率分布;从先验概率分布中抽样获得隐层空间的节点特征;利用样本脑部的隐层空间的节点特征、节点特征矩阵、节点连接矩阵以及sMRI数据对预设的对抗生成超图融合网络进行对抗训练;当对抗生成超图融合网络收敛时,对对抗生成超图融合网络进行迁移处理,获取融合网络。
第二方面,本申请提供一种影像驱动的脑图谱构建装置,包括:
获取单元,用于获取待预测的脑部的多模态数据,多模态数据是根据脑部在至少三种不同模态下采集到的影像数据得到的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳先进技术研究院,未经深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110026756.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种金属带加工设备的自动上料系统
- 下一篇:一种发酵熟化槟榔的制作设备