[发明专利]用于捕获、编码、分布和解码沉浸式音频的系统和方法

说明书

一种提供用与标准的两声道或多声道再现系统兼容的通用数字音频格式编码的沉浸式音频录制的灵活捕获、分布和再现的声场编码系统和方法。该端到端系统和方法缓解了对消费者移动设备(诸如智能电话或相机)中的标准的多声道麦克风阵列配置的任何不切实际的需要。该系统和方法从灵活的多声道麦克风阵列配置捕获与传统回放系统兼容的两声道或多声道沉浸式音频信号，并且对这些音频信号进行空间编码。

相关申请的交叉引用

本申请要求2015年1月30日提交的、标题为“System and Method for Capturingand Encoding a 3-D Audio Soundfield”的美国临时专利申请第62/110,211号的权益，这两篇申请的全部内容通过引用并入本文。

背景技术

随着专用的录制设备变得更加便携和更加实惠，并且随着录制能力在日常设备(诸如智能电话)中变得更加普及，音频内容的捕获(经常与视频结合)已经变得越来越普遍。视频捕获的质量已经持续提高，并且已经超过了音频捕获的质量。现代移动设备上的视频捕获通常是高分辨率的而且DSP处理密集的，但是伴随的音频内容一般是以低保真度和很少的额外处理用单声道捕获的。

为了捕获空间线索，许多现有的音频录制技术采用至少两个麦克风。作为一般规则，录制360度水平环绕音频场景需要至少3个音频声道，而录制三维音频场景需要至少4个音频声道。虽然多声道音频捕获被用于沉浸式音频录制，但是目前可用的更普及的消费者音频递送技术和分布框架限于传输两声道音频。在标准的两声道立体声再现中，存储的或传输的左音频声道和右音频声道意图分别在左和右扩音器或耳机上直接回放。

为了回放沉浸式音频录制，可能需要在各种回放配置中渲染录制的空间音频信息。这些回放配置包括耳机、前置条形音箱(sound-bar)扩音器、前置分立扩音器对、5.1水平环绕扩音器阵列以及包括高度声道的三维扩音器阵列。不论回放配置如何，期望的是为收听者再现空间音频场景，该空间音频场景是捕获的音频场景的基本精确的表示。另外，有利的是提供对于特定回放配置不敏感(agnostic)的音频存储或传输格式。

一种这样的配置不敏感格式是B格式。B格式包括以下信号：(1)W——与全向麦克风的输出相对应的压力信号；(2)X——与前指(forward-pointing)“8字形”麦克风的输出对应的前后(front-to-back)方向信息；(3)Y——与左指“8字形”麦克风的输出相对应的左右(side-to-side)方向信息；以及(4)Z——与上指“8字形”麦克风的输出相对应的上下(up-to down)方向信息。

B格式音频信号可以被空间解码以用于在耳机或灵活的扩音器配置上进行沉浸式音频回放。B格式信号可以直接获得，或者从包括全向和/或双向麦克风或单向麦克风的、标准的接近重合(coincident)麦克风布置导出。特别地，4声道A格式从心形麦克风的四面体布置获得，并且可以经由4×4线性矩阵被转换为B格式。另外，4声道B格式可以被转换为与标准的2声道立体声再现兼容的两声道高保真立体声(ambisonic)UHJ格式。但是，两声道高保真立体声UHJ格式不足以使得能够进行忠实的三维沉浸式音频或水平环绕再现。

其他方法已经被提出以用于将表示环绕或沉浸式声音场景的多个音频声道编码为用于存储和/或分布的简化数据(reduced-data)格式，该简化数据格式随后可以被解码以使得能够忠实地再现原始音频场景。一种这样的方法是时域相位振幅矩阵编码/解码。该方法中的编码器将具有特定的振幅和相位关系的输入声道线性地组合为较小的一组编码声道。解码器组合具有特定的振幅和相位的编码声道来试图恢复原始声道。但是，由于中间声道计数减少，与原始音频场景相比，再现的音频场景的空间局部化保真度可能有损失。