[发明专利]空间音频表示和渲染

说明书

一种用于空间音频表示和渲染的装置包括被配置为执行以下的部件：获得至少一个音频流，其中至少一个音频流包括一个或多个传输音频信号，其中一个或多个传输音频信号是已定义类型的传输音频信号；以及将一个或多个传输音频信号转换为一个或多个其它传输音频信号，该一个或多个其它传输音频信号是另一已定义类型的传输音频信号。

技术领域

本申请涉及用于空间音频表示和渲染的装置和方法，但不是仅限于用于音频解码器的音频表示。

背景技术

沉浸式音频编解码器正被实现，以支持范围从低比特率操作到透明性的大量操作点。这种编解码器的示例是沉浸式语音和音频服务(IVAS)编解码器，其被设计为适合于在诸如3GPP 4G/5G网络之类的通信网络上使用，包括在诸如例如用于虚拟现实(VR)的沉浸式语音和音频之类的沉浸式服务中使用。该音频编解码器被预期处理语音、音乐和通用音频的编码、解码和渲染。此外还被预期支持基于通道的音频和基于场景的音频输入，包括关于声场和声源的空间信息。编解码器还被预期以低延迟进行操作，以启用会话服务并在各种传输条件下支持高差错鲁棒性。

输入信号可以以多种支持格式之一(以及以一些允许的格式组合)来被呈现给IVAS编码器。例如，可以使用增强型语音服务(EVS)编码器对单通道音频信号(无元数据)进行编码。其它输入格式可以利用新的IVAS编码工具。针对IVAS提出的一种输入格式是元数据辅助空间音频(MASA)格式，其中编码器可以利用例如单通道和立体声编码工具以及元数据编码工具的组合来用于格式的有效传输。MASA是适用于空间音频处理的参数化空间音频格式。参数化空间音频处理是使用一组参数来描述声音(或声音场景)的空间方面的音频信号处理领域。例如，在来自麦克风阵列的参数化空间音频捕获中，从麦克风阵列信号中估计一组参数(例如，声音在频带中的方向，所捕获的声音在频带中的方向性部分和非方向性部分的相对能量，例如被表示为频带中的直接对总能量比(direct-to-totalenergy ratio)或环境对总能量比(ambient-to-total energy ratio))是典型且有效的选择。已知这些参数很好描述了所捕获的声音在麦克风阵列的位置处的感知空间特性。因此，这些参数可被用在空间声音的合成中，用于双耳式耳机、用于扬声器、或其它格式(诸如Ambisonic(全景环绕声音))。

例如，可以存在两个通道(立体声)的音频信号和空间元数据。此外，空间元数据可以定义如下参数：方向索引，描述声音按时频参数间隔的到达方向；直接对总能量比，描述针对方向索引(即，时频子帧)的能量比；扩展相干性，描述针对方向索引(即，时频子帧)的能量扩展；扩散对总能量比(diffuse-to-total energy ratio)，描述非方向性声音在周围方向上的能量比；环绕相干性，描述非方向性声音在周围方向上的相干性；剩余对总能量比(remainder-to-total energy ratio)，描述剩余部分(诸如麦克风噪声)声能的能量比，以满足能量比之和为1的要求；以及距离，以对数刻度描述以米为单位的源自方向索引(即，时频子帧)的声音的距离。

IVAS流可被解码并渲染为各种输出格式，包括双声道输出、多通道输出、和Ambisonic(FOA/HOA)输出。另外，可以存在用于外部渲染的接口，其中输出格式可以对应于例如输入格式。

由于空间(例如MASA)元数据采用与输出格式无关的方式描绘期望的空间音频感知，因此，任何具有空间元数据的流可被灵活地渲染成任何一种上述的输出格式。但是，由于MASA流可以源自各种输入，因此，解码器接收的传输音频信号可能具有不同的特征。因此，解码器必须考虑这些方面，以便能够产生最佳的音频质量。

沉浸式媒体技术目前正由MPEG进行标准化，命名为MPEG-I。这些技术包括用于各种虚拟现实(VR)、增强现实(AR)或混合现实(MR)用例的方法。MPEG-I被分为三个阶段：阶段1a、阶段1b和阶段2。这些阶段的特征在于如何考虑3D空间中所谓的自由度。阶段1a和阶段1b考虑3DoF和3DoF+用例，然后阶段2将至少允许显著无限制的6DoF。