[发明专利]一种视觉-触觉融合的增强现实口腔手术技能训练模拟器

权利要求书

1.一种视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于，包括：仿真训练平台、基于力反馈设备的口腔操作训练系统、基于增强现实头盔的观察系统；

所述口腔训练平台，外形接近口腔实践训练中用到的仿真头部模型，方便用户熟悉操作环境，并且作为手指支撑，实现训练效果的转移；

所述口腔训练平台的实现过程如下：

（1）口腔训练平台的整体外形接近接受治疗的口腔患者，模仿患者平躺于牙椅上的外形构造，由口腔训练平台机箱、连接部分和头部三部分构成；

（2）口腔训练平台机箱起到稳固支撑和放置主机的作用；

（3）口腔训练平台连接部分，用于连接口腔训练平台的头部和底部的机箱，起到稳固支撑的作用，同时用于放置力反馈设备；

（4）口腔训练平台的头部，外形和大小接近真实的病人头部，去除口腔及以下部分，防止和力反馈设备的末端操作手柄产生干涉；在原有的口腔位置放置半圆环，在用户操作过程中起到手指支撑的作用；

基于力反馈设备的口腔操作训练系统，将力反馈设备支架固定在口腔训练平台上，以力反馈设备的末端手柄代替口腔手术器械供用户握持；用户操作力反馈设备的末端手柄进行运动，运动范围覆盖仿真头部模型的口腔范围；力反馈设备能产生特定的输出力，模拟触碰包括牙齿、牙龈、舌头和脸颊的多种组织的力觉感受；

所述基于力反馈设备的口腔操作训练系统实现过程如下：

（1）移动力反馈设备，使得力反馈设备工作空间的中心位置和口腔训练平台的口腔中心位置重合，并记录力反馈设备的位置；

（2）设计力反馈设备支架，将力反馈设备固定在口腔训练平台上，使得力反馈设备在使用过程中不出现晃动，并能够自由运动；

所述基于增强现实头盔的观察系统，将虚拟环境叠加于现实世界之上进行显示，接收网格信息，显示由虚拟口腔模型和虚拟工具模型构造的虚拟口腔环境，或观察口腔训练平台和力反馈设备的真实环境，增强训练过程中的沉浸感；

所述基于增强现实头盔的观察系统实现过程如下：

（1）选择Microsoft HoloLens作为增强现实设备，该设备可以实现无线传输，不受线缆限制；

（2）使用增强现实眼镜扫描口腔训练平台和力反馈设备，定位增强现实眼镜的工作中心，同时将虚拟环境叠加于口腔训练平台和力反馈设备进行显示，实现与周围真实环境中的全息影像互动；

所述训练模拟器实现过程：

a.基于患者的CBCT扫描和真彩扫描数据，以及口腔手术器械的尺寸和外形测量数据，建立虚拟口腔模型和虚拟工具模型，用于构造虚拟口腔环境；

b.基于虚拟口腔模型和仿真头部模型上的特征点，进行模型匹配，使得虚拟环境和训练模型上相应点的空间位置相匹配；

c.模型匹配完成后将网格信息传输至虚拟口腔手术仿真算法，进行虚拟口腔手术仿真计算，用户通过移动力反馈设备末端手柄控制虚拟工具运动，并通过增强现实头盔从不同角度进行观察，力反馈设备末端手柄的姿态信息和操作者的头部位置信息分别以1000Hz的频率和60Hz的频率被虚拟口腔手术仿真算法实时获取，经过计算后输出力觉信息和虚拟环境的网格信息；

d.网格信息需要以无线传输的方式传输至增强现实头盔进行显示，在传输前进行视觉信息处理，简化网格信息，在保证网格模型尖锐特征的前提下减少网格顶点数量，提高传输速度，实现60Hz的刷新频率；

e.基于获取的操作者头部信息，得到力觉-视觉空间校准矩阵，进行力觉-视觉空间校准，使得用户感受到的输出力和用户观察到的视觉信息相匹配，视觉上观察到虚拟工具碰到虚拟环境中的口腔组织后，能够在正确的位置感受到正确方向的触碰力。

2.根据权利要求1所述的视觉-触觉融合的增强现实口腔手术技能训练模拟器，其特征在于：所述步骤a中的虚拟环境构造方法：

（1）获得患者口腔DICOM格式CBCT数据；

（2）获得患者口腔的stl格式的口腔扫描数据；

（3）叠加重建后得到完整的下半颅骨三维表面和物理模型，构成虚拟口腔模型。