[发明专利]基于深度学习和有限元建模的组织变形模拟系统及方法

说明书

本发明公开了一种基于深度学习和有限元建模的组织变形模拟系统及方法，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。该系统包括图像采集装置和处理器；所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器；所述处理器，用于选取原始图像和目标图像的感兴趣区域，建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征，模拟目标形变组织三维模型。

技术领域

本公开涉及自动定位检测、有限元建模及配准技术领域，具体涉及一种基于深度学习和有限元建模的组织变形模拟系统及方法。

背景技术

随着虚拟现实技术的发展，3D建模技术取得了巨大进步，对于辅助医生准确识别与切除病变组织、避免损伤重要组织器官或功能区、提高手术质量等具有重要临床意义。3D建模技术的成功应用需要选用有效的建模方法和矫正方法。

实施有效的建模，关键步骤之一是生成其网格化模型。网格质量决定了组织变形模拟的精度。基于有限元的建模方法是迄今为止最为有效的数值计算方法之一，能够满足组织的生物力学的属性，并且易于并行处理，但是计算量大。另外，矫正方法的选择也是建模成功的重要一步。矫正方法大致可以分为三类：术中影像矫正、非刚体配准方法与变形图谱方法。发明人在研发过程中发现，术中影像矫正是精确度最高的方法，但缺点是费用昂贵，且容易造成术中感染，大规模的临床推广仍需时日。非刚体配准算法可分为基于数学模型(如B样条模型)和基于物理模型(如线弹性模型与固体理论模型)两种方法。基于物理模型的方法能够通过组织的生物力学属性来约束组织的运动，相对于数学模型来说，能大幅减少计算量。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于深度学习和有限元建模的组织变形模拟系统及方法，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。

本公开所采用的技术方案是：

一种基于深度学习和有限元建模的组织变形模拟系统，该系统包括图像采集装置和处理器；

所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器；

所述处理器，用于选取原始图像和目标图像的感兴趣区域，建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征，模拟目标形变组织三维模型。

作为本公开的进一步技术方案，所述处理器包括：

图像获取模块，用于获取图像采集装置采集的原始图像以及目标图像，并将其格式转换为PNG格式的图像；

感兴趣区域选取模块，用于选取原始图像和目标图像的感兴趣区域；

三维有限元模型构建模块，用于利用三维有限元网格生成器分别建立原始三维有限元模型和目标形变三维有限元模型；

三维配准模块，用于提取原始预配准区域和目标形变预配准区域，并对其进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；

有限元分析模块，用于对旋转平移矩阵进行有限元分析，提取旋转向量和位移向量；

模型模拟模块，用于将旋转向量和位移向量作为约束条件，模拟出变形后的目标组织三维模型。

作为本公开的进一步技术方案，所述感兴趣区域选取模块具体用于：

将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域归一化处理至同一尺寸。