[发明专利]混合现实空间音频

说明书

公开了一种向混合现实环境的用户呈现音频信号的方法。根据该方法的示例，检测与混合现实环境相关联的音频事件。音频事件与第一音频信号相关联。确定用户相对于混合现实环境的位置。识别与用户的位置相关联的声学区域。确定与第一声学区域相关联的第一声学参数。使用第一声学参数确定传递函数。将传递函数应用于第一音频信号以产生第二音频信号，然后向用户呈现第二音频信号。

相关申请的交叉引用

本申请根据35 U.S.C.§119(e)要求2017年10月17日提交的序列号为62/573,448的美国临时专利申请和2018年2月15日提交的序列号为62/631,418的美国临时专利申请的优先权益，这两个申请的全部内容为所有目的通过引用并入本文中。

技术领域

本公开一般地涉及用于呈现音频信号的系统和方法，更具体地，涉及用于向混合现实环境的用户呈现音频信号的系统和方法。

背景技术

虚拟环境在计算环境中普遍存在，可用于视频游戏(其中虚拟环境可以表示游戏世界)；地图(其中虚拟环境可以表示要导航的地形)；模拟(其中虚拟环境可以模拟真实环境)；数字叙事(其中虚拟角色可以在虚拟环境中彼此交互)；以及许多其它应用。现代计算机用户通常舒适地感知虚拟环境并与之交互。然而，用于呈现虚拟环境的技术可能会限制用户在虚拟环境中的体验。例如，传统的显示器(例如，2D显示屏)和音频系统(例如，固定扬声器)可能无法通过创建引人注目的、逼真的沉浸式体验的方式来实现虚拟环境。

虚拟现实(“VR”)、增强现实(“AR”)、混合现实(“MR”)以及相关技术(统称为“XR”)共享向XR系统的用户呈现感官信息的能力，这些感官信息对应于由计算机系统中的数据表示的虚拟环境。通过将虚拟的视觉和音频提示与真实的景象和声音进行结合，此类系统能够提供独特地增强的沉浸感和真实感。因此，可能希望以声音听上去像在用户的真实环境中——自然地并且与用户对声音的期望一致地——发生的方式向XR系统的用户呈现数字声音。一般来说，用户希望虚拟声音具有在其被听到的真实环境的声学特性。例如，在大型音乐厅中的XR系统的用户期望XR系统的虚拟声音具有巨大的洞穴似的声音品质；相反，小公寓中的用户期望声音更加减弱、接近和直接。

现有技术经常达不到这些期望，例如所呈现的虚拟音频未考虑用户的周围环境，从而导致会影响用户体验的不真实感。对XR系统用户的观察表明，虽然用户可能对虚拟内容与真实环境之间的视觉失配(例如，照明不一致)的容忍度相对较高；但是可能对听觉失配更为敏感。我们自己的听觉体验在一生中是不断完善的，可以使我们敏锐地意识到我们的物理环境如何影响我们听到的声音；而且我们对与期望不一致的声音高度敏感。对于XR系统，这种不一致会是不和谐的，会使引人注目的沉浸式体验变得花哨、极具模仿意味。在极端的例子中，听觉不一致会导致晕动和其它不良作用，因为内耳无法调和听觉刺激与其相应的视觉提示。

本发明旨在通过向用户呈现虚拟声音来解决这些缺点，其中声音的呈现基于用户真实环境的各方面而包含一个或多个回放参数。例如，呈现可以包含模拟的混响效果，其中混响的一个或多个参数取决于用户真实环境的属性，例如房间的立方体积或房间墙壁的材料。通过将用户物理环境特性考虑进去，本文描述的系统和方法可以模拟将用户听到的内容，使得虚拟声音就像是在该环境中自然生成的真实声音。通过以忠于声音在真实世界中的行为的方式呈现虚拟声音，用户可以体验到与混合现实环境的增强的联系感。类似地，通过呈现对用户的移动和环境做出响应的位置感知虚拟内容，该内容变得更主观，更具互动性和更真实，例如，用户在A点的体验可能与他或她在B点的体验完全不同。这种增强的真实感和交互性可以为新的混合现实应用(例如，使用空间感知音频实现新颖形式的游戏玩法、社交功能或交互行为的那些应用)提供基础。

发明内容