[发明专利]一种视觉-触觉融合的增强现实口腔手术技能训练模拟器

说明书

本发明涉及一种视觉‑触觉融合的增强现实口腔手术技能训练模拟器，包括：基于仿真头部模型构造的仿真训练平台；基于力反馈设备的口腔操作训练系统；基于增强现实头盔的观察系统；基于患者口腔CBCT数据和扫描数据生成虚拟口腔模型，构建虚拟口腔环境；基于虚拟口腔模型和仿真头部模型上的特征点，进行虚拟口腔和口腔模型的空间匹配；虚拟口腔手术仿真方法，分别以不低于1000Hz和60Hz的频率输出力觉信息和视觉信息；对网格数据进行简化的视觉信息处理方法；基于操作者头部信息校准输出力方向的力觉‑视觉空间校准方法。本系统解决了口腔传统训练中材料消耗和练习病例单一的问题；与现有的数字化训练方案相比，本系统借助增强现实技术增强了操作沉浸感，更加符合临床操作习惯。

技术领域

本发明涉及口腔手术训练模拟领域，是基于增强现实技术、力觉渲染技术、计算机图形学技术和运动力学等相关学科，模拟口腔手术操作过程，进行相关口腔手术操作的模拟训练。

背景技术

随着人们牙齿保护意识的提高，牙周、种植等口腔治疗的需求愈来愈多，而口腔医生技能培训周期长、成本高的现实情况，极大地限制了人们获取口腔治疗的机会。基于计算机图形学和增强现实等新技术，本发明提出一种视觉-触觉融合的增强现实口腔手术技能训练模拟器的构建方案，为口腔医生培训提供了新途径。

口腔医学是一门实践与理论相结合的学科，传统口腔医生的实践培训主要基于仿真头模进行。仿真头模的外形和病人平躺在牙椅上接受治疗的口腔诊室环境较为接近，用户可以较好地训练操作体位调节和支点使用等技巧，实现训练效果的迁移；但是仿头模练习过程中需要大量材料消耗，并具有训练病例单一、真实感差的缺陷。

针对传统口腔训练方案的不足，Moog Inc.等在专利号为US009383832B1“HAPTICUSER INTERFACE”的专利中提出了一种数字化训练方案，使用力反馈设备产生钻牙过程的虚拟力感，取代传统训练过程中的材料消耗；同时采用双投影的方式展示虚拟环境，并基于镜面反射的方式实现视觉空间和力觉空间的统一，使得用户观察到的虚拟环境和用户触碰的虚拟环境空间位置相同。该方案的主要问题在于采用镜面反射原理构建的训练平台，外形和仿真头模有较大差别，不仅用户需要花费较多的时间熟悉操作环境，同时也缺乏手指支撑，不容易实现训练效果的迁移。此外，为了实现虚拟视觉环境和虚拟力觉环境的空间校准，屏幕产生的图像需要经过反射镜反射后进行观察，所以在操作过程中无法观察到操作手，操作沉浸感较差。

发明内容

本发明技术解决问题：提供一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，外形接近传统的仿真头模口腔训练平台，可以作为操作过程中的手指支撑；构成虚拟环境的口腔模型和口腔工具模型通过CT扫描和测量获得，可以模拟多种病例；使用增强现实眼镜进行观察，将口腔模型和口腔工具等虚拟环境叠加与真实环境进行显示，增强操作过程中的沉浸感；使用力反馈设备产生虚拟力感，避免了训练过程中的材料消耗。

本发明技术解决方案：

一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；

所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；

基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；

所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或以观察口腔训练平台和力反馈设备真实环境，增强训练过程中的沉浸感；

所述训练模拟器实现过程：