[发明专利]声学场景回放方法和装置

说明书

一种声学场景回放方法包括：提供录音数据，包括位于声学场景内的一个或多个麦克风配置的麦克风信号和所述一个或多个麦克风配置的麦克风元数据，其中所述一个或多个麦克风配置中的每一个都包括一个或多个麦克风并且具有作为相应麦克风配置的中心位置的录音点；指定虚拟收听位置，其中所述虚拟收听位置是所述声学场景内的一个位置；为所述一个或多个麦克风配置中的每个麦克风配置分配一个或多个虚拟扬声器对象(Virtual Loudspeaker Object，VLO)，其中每个VLO是虚拟自由场内的一个抽象声音输出对象；基于所述录音数据、所述虚拟收听位置和分配给所述一个或多个麦克风配置的VLO参数来生成编码数据流；基于回放配置对所述编码数据流进行解码，从而生成解码数据流；以及将所述解码数据流输入到渲染设备，从而驱动所述渲染设备在所述虚拟收听位置处再现所述声学场景中的声音。本发明还描述了一种用于执行所述声学场景回放方法的回放装置和计算机程序。

技术领域

本发明涉及一种声学场景回放方法和装置。

背景技术

在经典的录音技术中，以单个听者的视角在原始声音场景中捕获和再现空间音频场景的环绕图像，空间音频场景还称为声学场景或声音场景。单视角录音通常通过立体声(基于声道)录音和再现技术或立体混响声录音和再现技术(基于场景)来实现。交互式音频显示器的出现可能性和音频传输媒体从磁带或CD到更灵活的媒体的推广使得音频的使用更动态，例如多通道数据的交互式客户端侧音频渲染或者客户端的独立预渲染音频流的服务器侧渲染和传输。虽然上述提及的技术在游戏中已经很常见，但是很少用于再现录制的音频场景。

到目前为止，已经可以只通过音频渲染基于所涉及的声音的单独隔离录音和混响(基于对象)的额外录音或渲染来在再现过程中遍历声音场景。通过改变录制声源的排列，可以调整再现侧的回放角度。

此外，另一种可能性是推断一种视差调整以通过重映射定向音频编码从单视角录音中创建视角变化的印象。这通过假设在将源位置的方向投射到凸包上之后获得源位置来进行。这种排列依赖于使用直达声/早期声的频谱分离假设进行的时变信号滤波。然而，这样会导致信号衰减。此外，源位于凸包上这一假设只适用于位置变化较小的情况。

因此，现有技术的局限性在于，当使用基于对象的音频渲染来渲染演练时，需要显式了解房间属性、源位置和源自身的属性。此外，从真实场景中获取基于对象的表示是一项艰难的任务，而且需要许多麦克风靠近所有所需的源，或者需要源分离技术以从混合源中提取各个源。因此，基于对象的方案只适用于合成场景，而不能用于实现真实声学场景中的高质量演练。

本发明解决了现有技术的不足之处，并且在虚拟监听位置处回放声学场景中的声音时，允许在真实录制的声学场景内不断改变进行音频回放的虚拟监听位置。因此，本发明解决了利用一种改进的方法和装置进行声学场景回放的问题。

发明内容

在第一方面中，提供了一种声学场景回放方法，其中所述方法包括：

提供录音数据，包括位于声学场景内的一个或多个麦克风配置的麦克风信号和所述一个或多个麦克风配置的麦克风元数据，其中所述一个或多个麦克风配置中的每一个都包括一个或多个麦克风并且具有作为相应麦克风配置的中心位置的录音点；

指定虚拟收听位置，其中所述虚拟收听位置是所述声学场景内的一个位置；

为所述一个或多个麦克风配置中的每个麦克风配置分配一个或多个虚拟扬声器对象(Virtual Loudspeaker Object，VLO)，其中每个VLO是虚拟自由场内的一个抽象声音输出对象；

基于所述录音数据、所述虚拟收听位置和分配给所述一个或多个麦克风配置的VLO参数来生成编码数据流；

基于回放配置对所述编码数据流进行解码，从而生成解码数据流；以及

将所述解码数据流输入到渲染设备，从而驱动所述扬声器设备在所述虚拟收听位置再现所述声学场景中的声音。