[发明专利]多模态心脏图像的可视化和3D打印的方法

说明书

本发明公开了一种多模态心脏图像的可视化方法，包括：基于多模态心脏图像进行心脏组织结构分割；基于多模态心脏图像进行心脏病变分割；以及将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像；并且通过心脏组织结构及其病变的全自动解析控制3D打印机，使用弹性体材料打印3D心脏的腔室和瓣膜并结合混合现实进行直观展示。

技术领域

本发明涉及图像处理领域，更具体而言，本发明涉及多模态心脏图像的可视化、3D打印和混合现实展示的方法。

背景技术

在2015年，全球有4.227亿心血管疾病患者，其中1792万人因心血管疾病死亡。心脏核磁共振成像对评估心室功能具有重要的临床意义，包括计算左心室的舒张末期容量和收缩末期容量。在计算这些容量时，通常都需要划分左心室心肌边界。因此左心室内膜的精准分割是评估左心室功能的先决条件，而手动分割是一项漫长而乏味的过程，一个医生手动分割一组病例需要花费20分钟。

为了减轻医生的工作负担，近年来国内外学者对于左心室自动分割方法进行了更加深入的研究。尽管不断进步的医学造影技术为我们提供了越来越丰富与细致的医学影像，但是由于心脏医学影像中不可避免的灰度不均匀性和心脏本身解剖结构的复杂性，使得精准的心脏图像分割问题仍然是一个巨大的挑战。

传统的2D分析方法包括超声心动图(EKG)，心脏计算机断层扫描(CT)或磁共振成像(MRI)扫描。虽然这些方法足以分析正常心脏病，但是在将这些图像转换成理解患病心脏以及其他感兴趣器官内发生的3D空间关系时面临相当大的挑战。

发明内容

本发明旨在实现心脏图像的全自动解析、可视化、3D打印和混合现实。首先辅助医生最大程度地分割心脏组织结构和病变组织，并且将分割的心脏组织结构与病变组织同时显现出来，极大程度地实现全自动解析和可视化。另外，通过3D打印心脏模型展示含有患者个性化病灶纹理特征的解剖结构给医生和患者直观的感受。这种特定情况下，3D心脏模型允许医生在真实3D空间中检查，操纵心脏。这种与患者器官的亲密接触使得外科医生能够决定确切的方法、切口、插管技术和其他必要的手术方法。再有，通过结合虚拟现实VR、增强现实AR和混合现实MR给医生更好的交互式体验，通过患者特定解剖结构和生理学的3D复制品，医生能够在手术前制定一个更细致的计划，实现更短的手术时间，更少的术后并发症，更短的心肺分流时间，更少的残留病变以及更快的患者恢复时间的效果。

根据本发明的一个方面，提供一种多模态心脏图像的可视化方法，包括：

基于多模态心脏图像进行心脏组织结构分割；

基于多模态心脏图像进行心脏病变分割；以及

将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像。

在本发明的一个实施例中，基于多模态心脏图像进行心脏组织结构分割包括使用两阶段U-Net框架对多模态心脏图像进行图像分割。

在本发明的一个实施例中，所述两阶段U-Net框架包括：

第一U-Net，所述第一U-Net使用下采样的3D体积来对体素标签进行粗略预测；

第二U-Net，所述第二U-Net的输入是由第一U-Net的输出和原始数据组成的双通道4D卷，

其中所述第一和第二U-Net的压缩和扩展路径都包括4个基本的U-Net块，所述基本的U-Net块由两个卷积层和一个池化层组成，所述第一和第二U-Net的最终输出由softmax分类层产生，形成心脏组织结构的立体分割结构。

在本发明的一个实施例中，所述第一U-Net使用略微扩张的5×5×5卷积核和保留了特征映射的形状的零填充。