[发明专利]用于虚拟现实/增强现实音频播放的装置和方法

说明书

一种装置，包括至少一个处理器和包括用于一个或多个程序的计算机代码的至少一个存储器，该至少一个存储器和该计算机代码被配置为与该至少一个处理器一起使得该装置至少：生成音效信息，其中，该音效信息使得能够至少基于缩放因子来控制与与一个或多个音频源有关的音频信号相关联的音频信号处理。

技术领域

本申请涉及用于空间音频播放的装置和方法。

背景技术

在3D空间中，存在定义用户可在所述空间内移动的方式的六个自由度。该移动被划分成两类：旋转移动和平移移动(各自具有三个自由度)。旋转移动足以用于简单的虚拟现实(VR)体验，其中用户可转动他们的头部(俯仰、偏航和横滚)以从静态点体验该空间。平移移动意味着用户还可改变渲染的位置。换句话说，根据他们的意愿来沿着x、y和z轴移动。自由视点增强现实(AR)和VR体验允许旋转移动和平移移动这两者。

使用术语3DoF(三个自由度)、3DoF+和6DoF(六个自由度)来谈论自由度(和相关体验)是常见的。3DoF+介于3DoF与6DoF之间，因为它允许一些有限的用户移动，例如，在受限的平移自由度的同时允许全运动范围的旋转移动。因此，有时3DoF+可被视为实现受限的6DoF，其中用户是坐着的，但可将他们的头部朝各个方向倾斜。

目前，ISO/IEC运动图像专家组(MPEG)正以MPEG-I的名义标准化沉浸式媒体技术。这包括用于各种虚拟现实(VR)、增强现实(AR)或混合现实(MR)使用实例的方法。MPEG-I被划分成三个阶段：阶段1a、1b和2。阶段1a和1b考虑3DoF和3DoF+使用实例，然后阶段2将至少在某种意义上允许非受限的6DoF。对于音频标准化，已经将重点放在6DoF音频上，因为已有的方法被认为至少涵盖了3DoF/3DoF+使用实例的重要部分。然而，在某些方面将需要进一步开发至少3DoF+(阶段1b)标准。

沉浸式或空间音频(用于3DoF/3DoF+/6DoF)可包括各种音频信号和信息。例如，可使用基于通道的床和音频对象、一阶或更高阶的全景环绕声音(ambisonics)(FOA/HOA)和音频对象、这些(诸如仅音频对象)的任何组合、或任何等效的空间音频表示。这些音频信号可作为MPEG-H3D音频(如ISO/IEC 23008-3(MPEG-H部分3)音频编码标准所规定的)连同附加元数据和将构成MPEG-I音频标准的新的渲染技术一起被携带。

发明内容

根据第一方面，提供了一种装置，包括：至少一个处理器和包括用于一个或多个程序的计算机代码的至少一个存储器，至少一个存储器和计算机代码被配置为与至少一个处理器一起使得该装置至少：生成音效信息，其中，该音效信息使得能够至少基于缩放因子来控制与与一个或多个音频源有关的音频信号相关联的音频信号处理。

被使得生成音效信息的该装置可被使得生成以下中的至少一个：被配置为标识至少一个音频源的标识符；以及基于至少一个音频源的分类而要被应用的至少一个音频信令处理效果。

至少一个音频信令处理效果包括以下中的至少一个：增益的加重；增益的去加重；空间范围的增加；以及空间范围的减小。

至少一个音频源的分类可以至少是：第一类别，其中，至少一个音频源在针对第一缩放因子的第一视口内并且在针对第二缩放因子的第二视口内；第二类别，其中，至少一个音频源不在针对第一缩放因子的第一视口内但在针对第二缩放因子的第二视口内；第三类别，其中，至少一个音频源不在针对第一缩放因子的第一视口内并且不在针对第二缩放因子的第二视口内。

该装置可进一步被使得：获得与一个或多个音频源有关的音频信号；分析音频信号以生成与一个或多个音频源有关的信息；向至少一个其它装置发送音频信号、与一个或多个音频源有关的信息、以及音效信息。

被使得获得与一个或多个音频源有关的音频信号的该装置可被使得至少执行以下中的至少一个：捕获音频信号；以及从至少一个音频捕获装置接收音频信号。