[发明专利]用于回放多个音频源的双声道渲染装置和方法

说明书

本公开涉及用于多个移动音频源的快速双声道渲染的设计。本公开采用可以是基于对象的、基于信道的或两者的混合的音频源信号、相关联的元数据、用户头部跟踪数据以及双声道房间脉冲响应(BRIR)数据库来生成耳机回放信号。本公开应用逐帧双声道渲染模块，其采用BRIR的参数化分量来渲染移动源。另外，本公开在渲染过程中应用分层源聚类和缩混以降低计算复杂度。

技术领域

本公开涉及用于耳机回放(playback)的数字音频信号的有效渲染(render)。

背景技术

空间音频是指沉浸式音频再现系统，允许听众感知高度的音频环绕。这种环绕感包括在方向和距离上对音频源的空间位置的感觉，使得听众将声音场景感知为好像他们处于自然声音环境中。

通常有三种用于空间音频再现系统的录音格式。格式取决于音频内容制作站点使用的录制和混音方法。第一种格式是最熟知的基于信道的，其中音频信号的每个信道被指派为在再现站点的特定扬声器上回放。第二种格式称为基于对象的，其中可以由多个虚拟源(也称为对象)描述空间声音场景。每个音频对象可以由具有相关联的元数据的声音波形表示。第三种格式称为基于环绕声(Ambisonic)，其可以视为表示声场的球形扩展的系数信号。

随着诸如移动电话、平板电脑等个人便携式设备的激增以及虚拟/增强现实的新兴应用，通过耳机渲染沉浸式空间音频变得越来越必要和有吸引力。双声道化是将输入的空间音频信号(例如，基于信道的信号、基于对象的信号或基于环绕声的信号)转换为耳机回放信号的过程。实质上，实际环境中的自然声音场景是由一对人耳感知的。这推断出，如果这些回放信号接近人类在自然环境中感知的声音，则耳机回放信号应该能够将空间声场渲染得尽可能地自然。

双声道渲染的典型示例记录在MPEG-H 3D音频标准[参见NPL 1]中。图 1示出了将基于信道的和基于对象的输入信号渲染到MPEG-H 3D音频标准中的双声道馈送的流程图。给定虚拟扬声器布局配置(例如，5.1、7.1或22.2)，基于信道的信号1...L₁和基于对象的信号1...L₂首先分别经由格式转换器101 和VBAP渲染器102转换为多个虚拟扬声器信号。然后，通过考虑BRIR 数据库，经由双声道渲染器103将虚拟扬声器信号转换为双声道信号。

引用列表

非专利文献

[NPL 1]ISO/IEC DIS 23008-3“Information technology-High efficiencycoding and media delivery in heterogeneous environments-Part 3:3D audio”

[NPL 2]T.Lee,H.O.Oh,J.Seo,Y.C.Park以及D.H.Youn，“Scalable MultibandBinaural Renderer for MPEG-H 3D Audio”，在IEEE Journal of Selected Topics inSignal Processing，第9卷，第5号，第907-920页，2015 年8月。

发明内容

一个非限制性和示例性实施例提供了一种用于多个移动音频源的快速双声道渲染的方法。本公开采用音频源信号(可以是基于对象的、基于信道的或两者的混合)、相关联的元数据、用户头部跟踪数据以及双声道房间脉冲响应(BRIR)数据库来生成耳机回放信号。本公开的一个非限制性和示例性实施例提供当在双声道渲染器中使用时的高空间分辨率和低计算复杂度。