[发明专利]混合现实仿真方法和系统

说明书

技术领域

本发明总体上涉及混合现实仿真，更具体地涉及用于训练目的的混合现实仿真装置和系统，例如在医疗领域。

相关申请的交叉引用

本申请要求于2012年9月12日申请的美国临时专利申请序列号US61/700,222的权益，其发明人是Stefan Tuchschmid、Jonas Spillmann、Matthias Harders，发明名称是“具有被动触觉反馈的混合现实仿真器、方法和系统”，在本文出于各种目的将其作为参考全文引入。

发明背景

在传统的虚拟现实应用中，视觉仿真主要用于给终端用户提供与虚拟环境交互的视觉假象。在混合的现实场景中，用户与在物理环境(真实环境)和相关的虚拟环境中的真实对象共同相互影响，触觉使得虚拟环境(VE)内部的导航非常容易，尽管用户仍然不能通过明显的固体表面，但是混合现实提高了浸入程度和技能获取水平。通常物理触摸用主动触觉反馈装置模拟，例如两个触觉装置，其设置有美国专利申请公开2010/0086905中描述的关节镜检查模拟器中的移动部件。那种模拟器包括真实尺寸的关节或器官的人体解剖模型和模仿真实医疗操作装置的模拟医疗器械；模型还与传感器和移动部件相配合以引导、跟踪和控制该医疗器械在解剖模型中的操作。然而，主动式触觉反馈从商业和计算的角度上看是昂贵的，特别是如果模拟刚性接触。由于装置的机械配置，该工具的可能的运动程度是有限的；它们还承受各种机械限制，例如摩擦和惯性，并且力和力矩的最大可用量通常不够。另外，当今的装置十分巨大且不能容易地集成到模拟器硬件中。当必须支持不同的训练场景时，例如在多目的培训教室中，对每种不同的训练模型需要不同的硬件设置。最后但同样重要的，从操作的角度来看，主动式触觉反馈系统在操作之前需要特殊的设置和校准；并且在实践中，随着时间的流逝该设置不稳定，因此需要定期的维护以避免诱发训练错误。

被动式触觉解决方案，也被称为触觉增强或者混合现实，对于主动式触觉反馈来说，提供了一种价格可取的替代场景。被动式触觉技术包括将真实的物理对象加入到虚拟环境模拟器中，引起了非常强烈的触感。与主动式触觉反馈相比，被动式触觉引起非常真实的触感，特别是与硬环境结合。然而，虚拟环境的修改需要物理对应事物的修改，因为虚拟环境与相关联的物理对象之间的映射通常是一对一以避免虚拟与触觉信号之间的错配。这种与下层物理环境的一对一映射使得虚拟环境缺乏灵活性。在被动式触觉手术模拟器的背景中，这可能妨碍在模拟器中模拟不同的虚拟病人或者动态改变训练场景。

参考图1能更好地理解这种限制。图1表示模拟真实世界A的用户物理操作器100a(H_p)与真实环境A中的物理对象110a(E_p)的交互的两种不同的混合现实场景B和C。根据两个不同的场景B和C，用户物理操作器100a(H_p)可以由操作器的具体化100b、100c(H_v)表示，同时物理对象110a(E_p)可以由虚拟环境中的物理对象的具体化110b、110c(E_v)来表示。在场景B中，物理对象的具体化110b(E_v)大于真实的对象110a，同时操作器的具体化100b(H_v)具有原始操作器100a相同的尺寸，这样在虚拟环境B中默认的用户交互导致操作器具体化100b和对象具体化110b在偏差接触交互点120b碰撞和穿透。当操作器具体化的尖端触碰对象具体化110b(E_v)的点120b时，在它被手感受到之前，该碰撞在屏幕上能被看见。这样，在这个点没有接收到触觉刺激，这扰乱了用户，因为视觉和触觉刺激感知不同步的结果。相反地，在场景C中，物理对象具体化110c(E_v)小于真实的对象110a，这样终端用户看不见在虚拟环境C中操作器100c(H_v)与对象具体化110c在差异接触交互点120c碰撞，然而因为在真实环境中真实的操作器100a在接触点120a被阻挡，所以终端用户感觉到来自真实对象交互的碰撞，导致不逼真的混合的现实感受。