[发明专利]脑结构三维重建方法、装置及终端设备在审
申请号: | 202110026316.8 | 申请日: | 2021-01-08 |
公开(公告)号: | CN112598790A | 公开(公告)日: | 2021-04-02 |
发明(设计)人: | 王书强;胡博闻;申妍燕 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06N3/04;G06N3/08 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 胡明强 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 结构 三维重建 方法 装置 终端设备 | ||
1.一种脑结构三维重建方法,其特征在于,所述方法包括:
获取脑部的2D图像,将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理,输出得到所述脑部的3D点云;
所述3D脑部点云重建模型包括:ResNet编码器和图卷积神经网络,所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量,所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。
2.根据权利要求1所述的方法,其特征在于,所述图卷积神经网络包括:多组交替设置的图卷积模块和分支模块,所述图卷积模块用于调整点云的位置坐标,所述分支模块用于扩充点云的个数。
3.根据权利要求1或2所述的方法,其特征在于,所述3D脑部点云重建模型是基于获取的训练样本集和对应的判别器训练得到的,所述训练样本集中包括多个训练样本,每个训练样本中包括的2D脑部图像样本和所述2D脑部图像样本对应的脑部的3D点云样本。
4.根据权利要求3所述的方法,其特征在于,所述3D脑部点云重建模型的训练方法包括:
对于每个训练样本,将所述训练样本中的2D脑部图像样本输入到初始神经网络模型中,得到预测的3D点云;
将所述预测的3D点云与所述训练样本中的3D点云样本输入到所述判别器中处理,得到所述训练样本的判别结果;
根据每个训练样本的判别结果、所述3D脑部点云重建模型的损失函数和所述判别器的损失函数进行迭代训练,得到所述3D脑部点云重建模型。
5.根据权利要求4所述的方法,其特征在于,所述3D脑部点云重建模型的损失函数为:LE,G=λ1LKL+λ2LCD+Ez~Z[D(G(z))];
其中,LE,G表示3D脑部点云重建模型对应的损失值;λ1和λ2为常数;LKL表示KL散度;Z为所述ResNet编码器生成的编码特征向量的分布;z表示所述编码特征向量;G(·)表示图卷积神经网络的输出,D(·)表示判别器,E(·)表示期望;LCD为所述初始神经网络模型预测的3D点云与3D点云样本之间的倒角距离。
6.根据权利要求4所述的方法,其特征在于,所述判别器的损失函数为:
其中,表示3D点云样本与所述初始神经网络模型预测的3D点云之间线性分割的采样,E(·)为期望;G(·)表示图卷积神经网络的输出,D(·)表示判别器;Y表示3D点云样本,R表示3D点云样本分布;λgp为常数;为梯度算子。
7.根据权利要求3所述的方法,其特征在于,训练样本的获取方法包括:
获取脑部的3D图像;
对所述脑部的3D图像进行图像预处理后进行切片,得到2D脑部图像样本;
根据所述3D图像得到所述脑部的3D点云样本。
8.一种脑结构三维重建装置,其特征在于,包括:
获取单元,用于获取脑部的2D图像;
重建单元,用于将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理,输出得到所述脑部的3D点云;所述3D脑部点云重建模型包括:ResNet编码器和图卷积神经网络,所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量,所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110026316.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种自动提示跳闸的空气开关挂画
- 下一篇:一种具有定量燃烧的工业锅炉