[发明专利]医学影像全息AR显示系统

说明书

技术领域

本发明涉及医疗诊断和展示技术领域的一种医学影像全息AR显示技术系统，涉及到应用AR技术来展示医学影像学诊断，它利用高智能的人机交互技术，利用摄像，传感，实时计算和匹配技术，将真实的人体影像学环境和虚拟的人体解剖学结构和生理状态实时地叠加到同一个画面或空间而同时存在。医生通过虚拟实现系统感受到在病人身体内部世界中所见到的逼真性，突破了空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。

背景技术

AR技术是国际上近些年发展起来的一种新技术。作为新型的人机接口和仿真工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。AR是充分发挥创造力的科学技术，为人类的智能扩展提供了强有力的手段，对生产方式和社会生活产生了巨大深远的影响。随着技术的不断发展，其内容也势必将不断增加。而随着输入和输出设备价格的不断下降、视频显示质量的提高，以及功能很强大但易于使用的软件的实用化，AR的应用必将日益增长。AR技术在人工智能、CAD、图形仿真、虚拟通讯、遥感、娱乐、模拟训练等许多领域带来了革命性的变化。

总体来讲，增强现实在中国处于起步阶段，现在许多虚拟现实领域的企业已经开始专注于“增强现实”的研发和应用。比如中视典数字科技研发的VRP12.0就集成了增强现实的功能。

2013年中国国际工业博览会上，复旦大学数字医学研究中心主任宋志坚教授及其团队展出这一最新研发成果——增强现实神经导航系统。除此之外国内尚未见到AR技术在医学影像学上诊断应用和展示。

发明内容

本发明的目的是提供一种医学影像AR显示技术，可以全方位，对当前医学影像(包括声像)提供一个较为全面的AR显示技术。使医学诊断迈向一个新的形式和方向。

本发明是通过以下技术方案实现的：

一种医学影像全息AR显示技术系统，包括图像识别装置、动作捕捉装置、人机交互界面和三维虚拟图像叠加系统，其特征在于：图像识别装置和动作捕捉装置获取人体的真实医学影像，真实医学影像经数字化转换后与三维虚拟人体模型叠加显示到人机交互界面，人机交互界面是以交互性的计算机高级人机界面，医疗技术人员能够通过虚拟现实系统与医学影像结合感受到现实病人体内器官、组织形态的客观存在；所述的三维虚拟图像叠加系统是将一个三维虚拟人体模型与人体真实医学影像结合,通过计算机图形可视化技术产生医学影像中不存在的虚拟人体结构现象,通过计算机技术将真实医学图像准确的载入虚拟人体结构中,由人机交互界面的显示设备将虚拟现象与真实环境融为一体，实现虚拟人体解剖结构和真实医学影像的结合，医生在人机交互界面感受虚拟空间中模拟的病理变化，判定病变部位对机体局部和整体的影响；所述图像识别装置和动作捕捉装置为医学X线、CT和MRI断层影像，真实医学影像实时载入计算机的虚拟人体解剖结构中，借助于计算机图形和可视化技术，显示出组织结构和疾病形态学效果，通过人机交互界面使医生看到病变部位与周围器官、组织的关系以及对相应组织、器官功能的影响；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构，载入实时真实的超声检查的静态和动态声像图，通过计算机处理不同质地、性质的声像学结构和计算机图形、可视化技术，展示器官、组织间的病理变化，使医生了解病变的具体部位、性质和状态；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构，载入实时真实组织/血管/腔体照影影像，通过计算机技术处理和可视化技术，展示真实组织/血管/腔体等内外的病情变化、以及对周围组织、器官的影响；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构和生理状态，载入实时真实心电图形变化，通过计算机技术处理和可视化技术展示，了解、直视、聆听心脏搏动节律、声音情况、健康和心肌缺血、梗死情况；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构和生理状态，载入实时真实病人呼吸声像图及相关的X线图片/CT扫描图像，通过计算机技术处理和可视化技术展示，增强出现双肺呼吸运动状态，呼吸正常/异常呼吸音，肺部组织病理变化和肺功能情况；所述的三维虚拟图像叠加系统可通过计算机的虚拟人体解剖结构和神经生理状态，载入神经诱发电位的体感、听觉和视觉数据输入，通过三维人体解剖学图像展示神经功能状况；所述的真实医学影像数据通过无线传输载入虚拟三维人体生理解剖图像中，医学影像数据在云计算的数据库中运行。

本发明应用AR技术处理医学影像，使虚拟技术增强了现实不可能看到、了解到的受时间、空间限制的客观方面，重建解剖学模型它在医学影像诊断方面有如下意义：