[发明专利]混合现实装置中的虚拟和真实对象记录

说明书

一种用于终端用户使用的虚拟图像生成系统包括：存储器；显示子系统；对象选择装置，其被配置为接收来自终端用户的输入并且响应于终端用户输入持续不断地选择至少一个对象的；以及控制子系统，其被配置为渲染三维场景的多个图像帧、将图像帧传送到显示子系统、生成源自至少一个选择的对象的音频数据、以及将音频数据存储在存储器中。

技术领域

本发明一般地涉及虚拟现实和增强现实系统。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的混合现实系统的开发，其中数字再现图像或其部分以它们看起来是真实的或者可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及呈现数字或虚拟图像信息而对实际的真实世界视觉输入不透明。增强现实或“AR”场景通常涉及呈现数字或虚拟图像信息作为对用户周围的实际世界的可视化的增强(即，对其他实际真实世界视觉输入是透明的)。因此，AR场景涉及对其他实际真实世界视觉输入透明的数字或虚拟图像信息的呈现。

例如，参考图1，描绘了增强现实场景4，其中AR技术的用户看到以人、树、背景中的建筑物和具体的平台8为特征的真实世界公园式设置6。除了这些项之外，AR技术的终端用户还感知到他“看到”站在真实世界平台8上的机器人雕像10以及类似卡通的化身角色12，该类似卡通的化身角色看起来是大黄蜂的拟人化，尽管这些元素10、12在真实世界中不存在。事实上，人类视觉感知系统非常复杂，并且产生促进除了其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适、自然感觉、丰富呈现的VR或AR技术是具有挑战性的。

VR和AR系统通常采用头戴式显示器(或头盔式显示器或智能眼镜)，其至少松散地耦接到用户的头部，并由此在终端用户的头部移动时移动。如果显示系统检测到终端用户的头部运动，则可以更新正在显示的数据以考虑头部姿势(即，用户头部的取向和/或位置)的变化。能够实现AR(即，同时观看虚拟和真实对象)的头戴式显示器可以具有几种不同类型的配置。在一种这样的配置中，通常被称为“视频透视”显示器，相机捕捉真实场景的元素，计算系统将虚拟元素叠加到捕捉的真实场景上，以及非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示系统中的透明(或半透明的)元件以直接观看来自环境中的真实对象的光。透明元件(通常称为“组合器”)将来自显示器的光叠加在终端用户对真实世界的视图上。

通常，VR/AR系统的用户可能想要通过在VR/AR系统上记录和保存体验用于随后的在线发布，来与其他人分享他或她的体验(例如，在玩游戏、电话会议或观看电影时)。然而，由于嘈杂的环境而导致在记录中通常可能存在噪声和其他不想要的或意外的声音或者可能存在太多的声源，这会导致对体验而分心。这种不想要的/意外的声音可能来自真实对象，例如，来自在VR/AR系统附近玩耍的儿童，或者来自虚拟对象，例如，来自在VR/AR系统环境中重播的虚拟电视。

因此，仍然需要提供一种简单且有效的装置，用于仅记录来自用户感兴趣的虚拟或真实对象的声音。

发明内容

根据本发明的第一方面，一种用于终端用户使用的虚拟图像生成系统包括存储器、显示子系统和对象选择装置，该对象选择装置被配置为接收来自终端用户的输入并且响应于终端用户输入持续不断地选择至少一个对象(例如，真实对象和/或虚拟对象)。在一个实施例中，显示子系统具有视场，以及对象选择装置被配置为持续不断地选择视场中的对象。在这种情况下，对象选择装置可以被配置为在显示子系统的视场中移动三维光标并且响应于接收到终端用户输入而选择对象。在另一实施例中，终端用户输入包括一个或多个语音命令，并且其中对象选择装置包括被配置为感测语音命令的一个或多个麦克风。在又一实施例中，终端用户输入包括一个或多个手部姿势，在这种情况下，对象选择装置可以包括被配置为感测手部姿势的一个或多个相机。