[发明专利]用于头部姿势预测的深度预测器循环神经网络

说明书

用于预测用于增强或虚拟现实设备的渲染引擎的头部姿势的系统和方法可以包括接受时间序列的头部姿势数据并输出预测头部姿势的循环神经网络(RNN)。该循环神经网络可以包括一个或多个长短期记忆(LSTM)单元或门控循环单元(GRU)。全连接(FC)层可以接受来自RNN的输入，并输出3自由度(DOF)头部姿势(例如，角度取向或空间位置)或6DOF头部姿势(例如，角度取向和空间位置两者)。渲染引擎可以使用预测头部姿势生成虚拟内容并且在用户看向虚拟内容的位置时向用户显示该虚拟内容，这减少了系统延迟并改善了用户体验。

相关申请的交叉引用

本申请要求于2018年7月23日提交的题为“DEEP PREDICTOR RECURRENT NEURALNETWORK FOR HEAD POSE PREDICTION(用于头部姿势预测的深度预测器循环神经网络)”美国专利申请号62/702,309的优先权的权益，该申请的全部内容通过引用并入在此。

技术领域

本公开总体上涉及使用循环神经网络来预测头部姿势(例如，取向、位置、旋转或平移)的系统和方法，更具体地涉及利用这样的循环神经网络用于头部姿势预测的增强或虚拟现实系统。

背景技术

现代计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的开发，其中，数字再现的图像或其部分以它们似乎是真实的或可能被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际真实世界视觉输入没有透明度；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界可视化的增强；与合并真实世界和虚拟世界有关的混合现实或“MR”产生了新的环境，在该环境中物理和虚拟对象共存并实时交互。事实证明，人类的视觉感知系统非常复杂，并且产生促进虚拟图像元素在其它虚拟或真实世界图像元素之间的舒适自然感觉丰富的呈现的VR、AR或MR技术具有挑战性。在此公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。

发明内容

用于预测用于增强或虚拟现实设备的渲染引擎的头部姿势的系统和方法可以包括循环神经网络(RNN)，该循环神经网络接收时间序列的头部姿势数据并输出预测头部姿势(例如，取向、位置、旋转或平移)。循环神经网络可以包括一个或多个长短期记忆(LSTM)单元或门控循环单元(GRU)。全连接(FC)层可以接受来自RNN的输入，并输出3自由度(DOF)头部姿势(例如，角度取向或空间位置)或6DOF头部姿势(例如，角度取向和空间位置两者)。渲染引擎可以使用预测头部姿势来生成虚拟内容，并且在用户看向虚拟内容的位置时向用户显示该虚拟内容，这样减少了系统延迟并改善了用户体验。

在各个方面，可穿戴显示系统包括：显示器，被配置为设置在可穿戴系统的佩戴者的眼睛前方，该显示器被配置为向可穿戴系统的佩戴者显示虚拟内容；头部姿势传感器，被配置为提供头部姿势数据；非暂时性存储器，被配置为存储头部姿势预测循环神经网络；与头部姿势传感器、显示器和非暂时性存储器通信的硬件处理器，该硬件处理器被编程为：接收头部姿势数据；将头部姿势数据输入到头部姿势预测循环神经网络；执行头部姿势预测循环神经网络以在时间范围内输出预测头部姿势；以及使显示器至少部分地基于时间范围内的预测头部姿势来渲染虚拟内容。

本文描述的循环神经网络头部姿势预测技术不限于AR、MR或VR应用，并且可以用于需要人的头部姿势的其他应用中，例如，游戏、医学(例如，神经病学、眼科、康复)等。

本说明书中描述的主题的一种或多种实现方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其它特征、方面和优点将变得显而易见。该发明内容或以下详细描述均不旨在限定或限制本发明主题的范围。

附图说明

图1描绘了具有某些虚拟现实对象以及人观看的某些物理对象的增强现实场景的图示。

图2示意性地示出可穿戴系统的示例。