[发明专利]空间音频上混

说明书

空间音频上混使得能够将空间声音混合在比使用常规上混所可能的更细粒度的每个通道水平上。空间床是表示完整的声场描述的多通道音频内容，例如，声音的虚拟球体，例如围绕模拟现实环境中的模拟现实收听者的声音的虚拟球体。通过组合此类空间床的至少两个空间床的区段来生成新空间床。还描述了其他实施方案并要求对其进行保护。

本非临时专利申请要求2017年9月29日提交的美国临时申请62/566,239的较早申请日期的权益。

技术领域整体涉及用于音频处理的计算机化数据处理系统和方法，并且具体地讲涉及空间音频处理。

背景技术

在增强现实(AR)应用程序、虚拟现实(VR)应用程序和混合现实(MR)应用程序中产生三维(3D)声音效果通常用于增强媒体内容，在本公开中的所有应用程序均被术语模拟现实(SR)应用程序所涵盖。设计为产生3D声音的空间音频格式的示例包括MPEG-H(运动图像专家组)3D音频标准、HOA(高阶高保真度立体声响复制)空间音频技术和DOLBY ATMOS环绕声技术。例如，声音设计者通过操纵空间音频对象中包含的声音来添加3D声音效果以增强SR应用程序中的场景，其中声音是通过空间音频处理可实际上位于SR应用程序所创建的虚拟3D空间中的任何位置的环境声和/或离散声。

发明内容

此处描述了空间音频上混的实施方案，这些实施方案使得SR应用程序开发者能够一起定制混音成来自不同输入音频对象的单个新(输出)音频对象声音，其中每个输入音频对象可包含不同场景的声音。除了其他优点之外，空间音频上混技术使得能够将空间声音混合在比使用常规上混所可能的更细粒度的每个通道水平上。

在一个实施方案中，音频对象包含编码声音的音频数据，能够该编码声音的音频数据构成SR应用程序。在一个实施方案中，将编码声音的音频数据存储为保留录制声音的空间特性的空间音频对象，该空间音频对象具有多个音频数据信道，每个音频数据信道可与录制声音的方向和位置中的任何一者或多者相关联。在一个实施方案中，音频数据中编码的声音是已均匀投影到空间床上(例如，均匀投影到虚拟声源(虚拟扬声器)的均匀间隔的网格阵列上)的任何录制声音，包括非空间单声道录制。在一个实施方案中，空间音频对象中的多个音频数据信道包括此类空间床。空间床是表示完整的声场描述(围绕中心收听位置的球体的4π球面度)的多通道音频内容，也被称为球形虚拟声源阵列或声音的虚拟球体，该完整的声场描述可围绕SR环境中的SR收听者。

在一个实施方案中，一种用于创建空间音频对象的不同部分的定制混音的计算机实现的方法可包括以下操作。获取多个输入空间音频对象，例如，作为空间音频库的一部分。例如通过用户界面并从声音设计者接收对第一输入对象的选择(作为多个输入空间音频对象中的一个输入空间音频对象)。也对定制混音可视化的第一部分的选择(例如，图形对象诸如球体)例如经由用户界面和声音设计者来接收，要在该第一部分处渲染选择的第一输入对象的声音。也以相同的方式接收对第二输入对象的选择(作为多个输入空间音频对象中的另一个输入空间音频对象)。此外，也(例如，以相同的方式经由用户界面)接收对定制混音可视化的第二部分的选择，要在该第二部分处渲染选择的第二输入对象的声音。然后，场景组合器过程基于选择来生成(例如，更新)新空间音频对象。

新空间音频对象可包括球形虚拟声源阵列(虚拟球体)，该虚拟声源限定围绕新空间音频对象的收听位置(例如，在定制混音球体的中心处)的声场。在另一个实施方案中，虚拟球体限定向外(而不是向内)辐射的声场。新对象的虚拟球体可具有与每个输入对象相同的虚拟声源网格。这样，构成选择的第一输入对象的通道的选择的部分可“绘画”或成为新对象的虚拟球体的对应部分，并且类似地用于选择的第二输入对象的选择的部分。这两个部分可以或可以不根据新对象的产生其相应声音的虚拟声源重叠。