[发明专利]一种面向医学影像的移动增强现实系统构建方法

说明书

本发明涉及一种面向医学影像的移动增强现实系统构建方法，属于电子技术领域。该方法包括：S1：通过3D Slicer软件进行医学图像三维重建，得到三维重建模型，并将该模型导入ARKit框架；S2：开启移动设备的摄像头识别当前场景，执行ARKit提供的SLAM算法接口识别出当前场景的平面并标识出来；S3：将虚拟的三维重建模型叠加到当前场景并放置到识别出的现实平面上；S4：识别出当前用户的交互手势，与真实场景中的虚拟对象进行交互。本发明在降低设备成本的同时采用了移动终端来实现了医护人员诊病的便捷性。

技术领域

本发明属于电子技术领域，涉及医学三维重建技术与移动增强现实技术领域的结合，具体涉及一种面向医学影像的移动增强现实系统构建方法。

背景技术

随着现代医学成像技术的发展，先后出现了计算机断层扫描(CT)、核磁共振成像(MRI)、正电子发射计算机造影(PEI)，超声(Ultrasound)等。但这些医学影像设备只能提供人体内部组织或器官断面的二维图像，不能提供连续的三维形式的图像。在目前的医疗诊断中，主要是通过观察一组CT、MRI的二维切片图像去发现病灶，只能凭借医生的读片经验去估计病灶的形状和大小，缺乏直观性，难以达到准确的判断。

3D Slicer是一个用于医学图像信息学，图像处理和三维可视化的开源软件平台。Slicer为医生，研究人员和公众提供免费、强大的跨平台处理工具。增强现实技术(Augmented Reality，AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。但是目前未发现将3D Slicer结合AR技术应用到移动终端的案例。

因此，亟需一种面向医学影像的移动增强现实系统构建方法，用于解决病症判断不准确的问题。

发明内容

有鉴于此，本发明的目的在于提供一种面向医学影像的移动增强现实系统构建方法，由3d slicer得到三维模型，将基于视觉SLAM算法和IMU的增强现实医学三维模型发布到iOS移动端，通过识别交互手势来提供交互功能，该系统能够用于教学工作或是让医生能更直观的进行术前规划。

为达到上述目的，本发明提供如下技术方案：

一种面向医学影像的移动增强现实系统构建方法，具体包括以下步骤：

S1：通过3D Slicer软件进行医学图像三维重建，得到三维重建模型，并将该模型导入ARKit框架；

S2：开启移动设备的摄像头识别当前场景，执行ARKit提供的SLAM算法接口识别出当前场景的平面并标识出来；

S3：将虚拟的三维重建模型叠加到当前场景并放置到识别出的现实平面上；

S4：识别出当前用户的交互手势，与真实场景中的虚拟对象进行交互。

进一步，所述步骤S1具体包括以下步骤：

S11：将患者数据(CT或MRI切片图像)导入到3D Slicer软件，得到连续数据场，然后在Segment editor模块中，选择感兴趣区域，并进行三维重建；

S12：在Segment editor模块或其他插件中进行手术模拟(如穿刺，开颅，内镜，椎弓根螺钉植入等)，同时得到新的三维重建模型，还可对不同感兴趣组织进行染色，方便我们更好的观察；如果导出的三维模型需包括杂乱孤立的碎片，则需要进行清理；

S13：将S12中所得到的三维重建模型，先经过blender软件转换为所需的dae格式，然后导入到基于ARKit框架的移动增强现实程序中。