[发明专利]一种视觉-触觉融合的增强现实口腔手术技能训练模拟器

摘要

本发明涉及一种视觉‑触觉融合的增强现实口腔手术技能训练模拟器，包括：基于仿真头部模型构造的仿真训练平台；基于力反馈设备的口腔操作训练系统；基于增强现实头盔的观察系统；基于患者口腔CBCT数据和扫描数据生成虚拟口腔模型，构建虚拟口腔环境；基于虚拟口腔模型和仿真头部模型上的特征点，进行虚拟口腔和口腔模型的空间匹配；虚拟口腔手术仿真方法，分别以不低于1000Hz和60Hz的频率输出力觉信息和视觉信息；对网格数据进行简化的视觉信息处理方法；基于操作者头部信息校准输出力方向的力觉‑视觉空间校准方法。本系统解决了口腔传统训练中材料消耗和练习病例单一的问题；与现有的数字化训练方案相比，本系统借助增强现实技术增强了操作沉浸感，更加符合临床操作习惯。

主权项

1.一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；/n所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；/n基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；/n所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或观察口腔训练平台和力反馈设备的真实环境，增强训练过程中的沉浸感；/n所述训练模拟器实现过程：/na.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；/nb.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和训练模型上相应点的空间位置相匹配；/nc.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以>1000Hz的频率和>60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；/nd.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现>60Hz的刷新频率；/ne.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。/n