[发明专利]脑结构三维重建方法、装置及终端设备

说明书

本申请提供了一种脑结构三维重建方法、装置及终端设备。该方法包括：获取脑部的2D图像，将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。基于本申请提供的脑结构三维重建方法可以将脑部的2D图像转化成脑部的3D点云，为医生提供更多的视觉信息，便于医生更好地进行诊疗。

技术领域

本申请属于人工智能技术领域，尤其涉及一种脑结构三维重建方法、装置及终端设备。

背景技术

近年来，随着医学手术方法的不断发展，微创手术和机器人导航手术已逐渐应用于脑外科手术，医生可以通过微型探头对手术部位进行观察，但是微型探头的视角有限，且微型探头采集的图像属于二维(Second Dimension，2D)图像，无法为医生提供更多的视觉信息，不利用医生对病变部位进行精确的诊断和分析。与2D图像的扁平空间相比，三维(Three Dimensional，3D)点云数据包含有更多的空间结构信息，可以为医生提供更多的视觉信息，从而辅助医生更好地进行诊疗。因此，将2D图像重建为准确且清晰的3D点云具有重要意义。

发明内容

本申请实施例提供了一种脑结构三维重建方法、装置及终端设备，可以将脑部的2D图像转化成3D点云，为医生提供更多的视觉信息。

第一方面，本申请实施例提供了一种脑结构三维重建方法，该方法包括：获取脑部的2D图像，将脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到脑部的3D点云；3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，ResNet编码器用于提取脑部的2D图像的编码特征向量，图卷积神经网络用于根据编码特征向量构建脑部的3D点云。

基于本申请提供的一种脑结构三维重建方法，通过ResNet编码器可以有效地提取图像的编码特征信息，编码特征信息可以引导图卷积神经网络精准地构建3D点云，该方法可以将包含有限信息的2D图像重建成信息更加丰富、更加准确的3D点云，在诊疗的过程中可以针对病变部位为医生提供更多、更加准确地视觉信息，从而辅助医生更好地决策。

可选地，图卷积神经网络包括：多组交替设置的图卷积模块和分支模块，图卷积模块用于调整点云的位置坐标，分支模块用于扩充点云的个数。

基于上述可选方式，分支模块可以将点云的个数扩充至目标个数，图卷积模块可以调整点云的位置坐标并将坐标的维度降低至3维，使其可以正确地描述目标特征。通过交替使用图卷积模块和分支模块可以自顶向下生成3D点云，在保留祖先点云位置信息的情况下，充分利用点云相对位置，从而提高了重建的3D点云的准确性。

可选地，3D脑部点云重建模型是基于获取的训练样本集和对应的判别器训练得到的，训练样本集中包括多个训练样本，每个训练样本中包括2D脑部图像样本和2D脑部图像样本对应的脑部的3D点云样本。

可选地，3D脑部点云重建模型的训练方法包括：对于每个训练样本，将训练样本中的2D脑部图像样本输入到初始神经网络模型中，得到预测的3D点云；将预测的3D点云与训练样本中的3D点云样本输入到判别器中，得到训练样本判别结果；根据每个训练样本的判别结果、3D脑部点云重建模型的损失函数和判别器的损失函数进行迭代训练，得到3D脑部点云重建模型。

基于上述可选方式，神经网络模型中的图卷积神经网络和判别器构成生成对抗网络，在训练的过程中无需进行监督学习，降低了模型的训练复杂度，提高模型的泛化能力。

可选地，训练样本的获取方法包括：获取脑部的3D图像；对脑部的3D图像进行图像预处理后进行切片，得到2D脑部图像样本；根据3D图像得到脑部的3D点云样本。