[发明专利]虚拟内容和现实内容的低等待时间的融合有效
申请号: | 201110354995.8 | 申请日: | 2011-10-26 |
公开(公告)号: | CN102591449A | 公开(公告)日: | 2012-07-18 |
发明(设计)人: | A·巴-泽埃夫;J·A·古森斯;J·塔迪夫;M·S·格罗斯曼;H·辛格 | 申请(专利权)人: | 微软公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01 |
代理公司: | 上海专利商标事务所有限公司 31100 | 代理人: | 胡利鸣 |
地址: | 美国华*** | 国省代码: | 美国;US |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 虚拟 内容 现实 等待时间 融合 | ||
技术领域
本发明涉及虚拟内容和现实内容的低等待时间的融合。
背景技术
混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。例如,混合现实系统可以用于将恐龙的图像插入到用户房间的视图中,使得该用户看见恐龙在房间中走动。
常规的混合现实系统的显著缺点是等待时间。当用户转动他的头时,用户对现实世界的视图瞬时发生非常大的改变。然而,在常规的混合现实系统中,传感器需要花费时间来感测新图像数据以及渲染图形图像以供显示给用户佩戴的头部用具。尽管最新的进展已经最小化了该等待时间,但是其仍然为一帧到几帧的数量。实际视图与虚拟视图之间的该虚拟失配可能导致用户的不适和定向障碍。常规的混合现实系统还依靠强大但是庞大的处理系统来执行批量处理,包括构造现实世界环境的映射以及渲染图形图像。
发明内容
在此提供了用于将虚拟内容与现实内容相融合以为一个或多个用户提供混和现实体验的技术。该系统包括与强大的中枢计算系统无线通信的移动显示设备。每个移动显示设备都可以包括耦合到具有显示元件的头戴式显示设备(或其他合适装置)的移动处理单元。每个用户都佩戴头戴式显示设备,该头戴式显示设备允许用户通过该显示元件查看房间。该显示设备允许通过显示元件实际直接查看房间和房间中的现实世界物体。该显示元件还提供将虚拟图像投影到用户的视野内使得虚拟图像看上去处于该房间内这一能力。该系统自动地跟踪用户所查看之处,使得该系统可以确定:将虚拟图像插入到用户的视野中的何处。一旦系统得知要将虚拟图像投影到何处,则该图像就使用显示元件 被投影。
在实施例中,中枢计算系统和一个或多个处理单元可以协作以构建包括房间或其他环境中的所有用户、现实世界物体和虚拟三维物体的x、y、z笛卡尔位置的环境模型。由环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境模型并且彼此校准。这允许该系统确定每个用户对该环境的视线和视野。因此,虚拟图像可以被显示给每个用户,但是该系统确定从每个用户的视角对虚拟图像的显示,从而针对视差以及对该环境中其他物体或被该环境中的其他物体的遮挡来调整虚拟图像。在此称为场景映射的环境模型以及所有对用户的视野和环境中物体的跟踪可以由合作地工作的中枢和计算设备以及所述一个或多个处理元件来生成。在另外的实施例中,所述一个或多个处理单元可以执行所有系统操作,并且中枢计算系统可以被省略。
生成和更新环境中的所有物体的位置要花费一定时间,并且从每个用户的视角渲染虚拟物体要花费时间。因此,这些操作向该系统引入了固有的等待时间。然而,在诸如几个数据帧之类的小时间段内,移动往往是总体上平滑和稳定的。因此,根据本技术,可以检查来自当前和以前时间段的数据以便外插出物体在未来的位置、以及每个用户在未来对这些物体的视图。使用对最终场景映射和场景映射的用户视野的未来预测,场景的虚拟图像可以被显示给每个用户而没有等待时间。最终场景映射和用户视野的预测可以在整个帧的范围内被更新以缩小可能的解决方案,直到到了向每个用户的头戴式显示设备发送所渲染的图像以显示混合现实体验的虚拟元素的时间。
在实施例中,本技术涉及一种用于向一个或多个用户呈现混合现实体验的系统,该系统包括:用于所述一个或多个用户的一个或多个显示设备,每个显示设备都包括用于感测与该显示设备的位置相关的数据的第一组传感器、以及用于将虚拟图像显示给该显示设备的用户的显示单元;一个或多个处理单元,每个都与所述一个或多个显示设备中的显示设备相关联,并且每个都从相关联的显示设备接收传感器数据;以及中枢计算系统,该中枢计算系统可操作地耦合到所述一个或多个处理单元的每个,该中枢计算系统包括第二组传感器,该中枢计算系统和所述一个或多个处理单元协作地基于来自第一和第二组传感器的数据确定该系统所用于的环境的三维映射。
在另一示例中,本技术涉及一种用于向一个或多个用户呈现混合现实体验的系统,该系统包括:第一头戴式显示设备,包括:相机,该相机用于获得第一头戴式显示设备所用于的环境的图像数据;惯性传感器,该惯性传感器用于提供第一头戴式显示器的惯性测量结果;以及显示设备,该显示设备用于向第一头戴式显示设备的用户显示虚拟图像;以及与第一头戴式显示器相关联的第一处理单元,该第一处理单元用于确定第一头戴式显示设备所用于的环境的三维映射、以及第一头戴式显示设备查看该三维映射的视野。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于微软公司,未经微软公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110354995.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:源自脂磷壁酸的糖脂及含有该糖脂的组合物
- 下一篇:LED发光器件
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法