[发明专利]基于音频数据流渲染音频输出的方法、解码器系统和介质

说明书

一种用于基于音频数据流来渲染音频输出的方法，所述音频数据流包括：M个音频信号；边信息，所述边信息包括重建矩阵C的一系列重建实例和第一时序数据，所述边信息允许由所述M个音频信号重建N个音频对象；以及对象元数据，所述对象元数据定义所述N个音频对象之间的空间关系。所述方法包括：基于所述对象元数据、所述第一时序数据和与当前回放系统配置相关的信息生成同步渲染矩阵，所述同步渲染矩阵针对每个重建实例都具有渲染实例；将每个重建实例与相应的渲染实例相乘以形成集成渲染矩阵的相应实例；以及将所述集成渲染矩阵应用于所述音频信号以便渲染音频输出。

相关申请的交叉引用

本申请要求以下优先权申请的优先权：于2017年3月6日提交的美国临时申请62/467,445(参考号：D16156USP1)和于2017年3月6日提交的EP申请17159391.6(参考号：D16156EP)，这些申请通过引用结合于此。

技术领域

本发明总体上涉及包括音频对象的音频场景的代码化(coding)。具体地，本发明涉及用于对一组音频信号进行解码和渲染以形成音频输出的解码器和相关联的方法。

背景技术

音频场景总体上可以包括音频对象和音频通道。音频对象是具有可以随时间变化的相关联空间位置的音频信号。音频通道(传统上)是与多通道扬声器配置的通道直接相对应的音频信号，所述多通道扬声器配置是诸如具有左扬声器和右扬声器的经典立体声配置或具有三个前扬声器、两个环绕扬声器和一个低频效果扬声器的所谓5.1扬声器配置。

由于音频对象的数量通常可能非常大，例如在数十或数百个音频对象的数量级，因此需要允许音频对象在编码器侧被高效地压缩例如以供作为数据流进行传输并且然后在解码器侧被重建的编码方法。

一个现有技术示例是在编码器侧将音频对象组合到多通道下混中，并且在解码器侧参数化地重建来自多通道下混的音频对象，所述多通道下混包括与特定多通道扬声器配置(诸如5.1配置)的通道相对应的多个音频通道。

例如在WO2014187991和WO2015150384中公开了这种方法的概括，其中，多通道下混不与特定回放系统相关联，而是被自适应地选择。根据这种方法，在编码器侧对N个音频对象进行下混以形成M个下混音频信号(MN)。代码化的数据流包括这些下混音频信号和使得能够在解码器侧重建这N个音频对象的边信息。数据流进一步包括描述对象之间的空间关系的对象元数据，所述对象元数据允许对这N个音频对象进行渲染以形成音频输出。

文献WO2014187991和WO2015150384提到可以将重建操作与渲染操作进行组合。然而，所述参考文献没有提供如何实现这种组合的进一步细节。

发明内容

本发明的目的是通过将一方面的由M个音频信号重建N个音频对象、与另一方面的渲染所述N个音频对象以形成音频输出进行组合，来在解码器侧提供提高的计算效率。

根据本发明的第一方面，这个目的和其他目的通过一种基于数据流的集成渲染方法来实现，所述数据流包括：

-M个音频信号，所述M个音频信号是N个音频对象的组合，其中，N1且M≤N，

-边信息，所述边信息包括重建矩阵的一系列重建实例c_i和定义所述实例之间的过渡的第一时序数据，所述边信息允许由所述M个音频信号重建所述N个音频对象，以及

-时变对象元数据，所述时变对象元数据包括定义所述N个音频对象之间的空间关系的一系列元数据实例m_i以及定义所述元数据实例之间的过渡的第二时序数据。