[发明专利]用于在虚拟现实环境中呈现音频信号的方法和系统

说明书

描述了一种用于在虚拟现实呈现环境(180)中呈现音频信号的方法(910)。方法(910)包括从听音者(181)的起始听音位置(301)周围的起始球体(114)上的起始源位置呈现(911)音频源(311、312、313)的起始音频信号。此外，方法(910)包括确定(912)听音者(181)从起始听音位置(301)移动到目的地听音位置(302)。另外，方法(910)包括基于起始源位置来确定(913)音频源(311、312、313)在目的地听音位置(302)周围的目的地球体(114)上的目的地源位置，以及基于起始音频信号来确定(914)音频源(311、312、313)的目的地音频信号。此外，方法(910)包括从目的地听音位置(302)周围的目的地球体(114)上的目的地源位置呈现(915)音频源(311、312、313)的目的地音频信号。

相关申请的交叉引用

本申请要求以下优先权申请的优先权：2017年12月18日提交的美国临时申请62/599,848(参考：D17086USP1)和2017年12月18日提交的欧洲专利申请17208087.1(参考：D17086EP)，所述优先权申请通过引用并入本文。

技术领域

本文件涉及在虚拟现实(VR)呈现环境中对听觉视口和/或听音位置之间的转换的高效且一致的处理。

背景技术

虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用发展迅速，以包含可从不同的视点/视角或听音位置欣赏的声源和场景的日益精细的声音模型。两种不同类别的灵活音频表示可以例如用于VR应用：声场表示和基于对象的表示。声场表示是一种基于物理的方法，对听音位置处的入射波前进行编码。例如，诸如B格式或高阶环境立体声(HOA)之类的方法使用球面谐波分解来表示空间波前。基于对象的方法将复杂的听觉场景表示为包括音频波形或音频信号以及可能随时间变化的相关参数或元数据的单个元素的集合。

享受VR、AR和MR可以包含用户体验不同的听觉视点或视角。例如，基于房间的虚拟现实可以基于使用6自由度(DoF)的机制来提供。图1示出了6自由度交互的示例，所述示例示出了平移运动(向前/向后、向上/向下和向左/向右)和旋转运动(俯仰、偏航和滚动)。与仅限于头部旋转的3自由度球面视频体验不同，为6自由度交互创建的内容除了头部旋转之外，还允许在虚拟环境内导航(例如，在房间内物理行走)。这可以基于位置跟踪器(例如，基于相机的)和方向跟踪器(例如，陀螺仪和/或加速度计)来实现。6自由度跟踪技术可用于高端桌面VR系统(例如，VR、Oculus Rift、HTC Vive)以及高端移动VR平台(例如，Google Tango)。用户对声音或音频源的方向性和空间幅度的体验对于6自由度体验的真实性至关重要，特别是在场景中和虚拟音频源周围导航的体验。

可用的音频呈现系统(诸如MPEG-H 3D音频呈现器)通常限于呈现3自由度(即，由听音者的头部运动引起的音频场景的旋转运动)。这种呈现器通常不能处理听音者的听音位置和相关自由度的平移变化。

本文件针对的技术问题是提供资源高效的方法和系统，用于处理音频呈现的背景下的平移运动。

发明内容