[发明专利]从音频内容基于投影提取音频对象

说明书

公开了一种用于从音频内容中提取音频对象的方法。该方法包括标识第一投影空间集合，所述第一投影空间集合包括用于所述多个声道中的第一声道的第一子集和用于所述多个声道中的第二声道的第二子集。该方法可以进一步包括确定所述第一声道和所述第二声道之间的第一相关性集合，所述第一相关性集合中的每个相关性对应于所述第一投影空间子集中的一个投影空间和所述第二投影空间子集中的一个投影空间。另外，该方法可以包括至少部分地基于所述第一相关性集合中的第一相关性和来自所述第一子集的对应于所述第一相关性的投影空间来从所述第一声道的音频信号中提取音频对象，所述第一相关性大于第一预定义阈值。也公开了对应的系统和计算机程序产品。

相关申请的交叉引用

本申请要求于2014年12月22日提交的中国优先权申请No.201410814937.9和于2015年1月27日提交的美国临时专利申请No.62/108,254的优先权，这两个申请通过引用被整体结合于此。

技术领域

本文公开的示例实施例总体涉及一种音频内容处理，并且更具体地，涉及一种用于从音频内容中提取音频对象的方法和系统。

背景技术

传统上，音频内容以基于声道的格式来创建和存储。在基于声道的格式中，音频内容一般由声道为媒介而被表示、存储、传递并且分布。如这里所用，术语“音频声道”或者“声道”指一般具有预定义物理位置的音频内容。例如，立体声、环绕5.1、环绕7.1等都是用于该音频内容的基于声道的格式。每个声道对应于固定位置的物理扬声器。当多声道内容被回放时，多个扬声器创建围绕听众的实时和沉浸式声场。近来，若干传统的多声道系统已经被扩展为支持新格式，该新格式包括声道和音频对象二者。如这里所用，术语“音频对象”或“对象”指在声场中存在定义的持续时间的个体音频元素。例如，音频对象可以表示对话、枪声、雷声等。这些对象一般由混音器用来创建它们所期望的音效。每个对象在声场中有其位置。例如，对话通常位于前方中央，而雷声一般从头顶发出。人们对对象的位置的感知是播放同一对象的音频信号的多个扬声器的对决(firing)结果。例如，当对象由左前方的扬声器和右前方的扬声器以相似能量级播放时，人们将感知到来自前方中央的幻象(phantom)。

如上所述，当以基于声道的格式创建内容时，通常意味着感知体验由混音器针对特定的回放设置来优化。然而，当由不同的回放设置播放时，其收听体验可能由于回放设置之间的失配而劣化。劣化的示例是对象的位置可能被改变。因而，基于声道的格式不足以适配各种扬声器回放配置。低效率的另一方面存在于双声道渲染中，其中基于声道的格式仅能够使用有限数目的特定于扬声器位置的头部关联传递函数(HRTF)；而对于其他位置，使用HRTF的插值，这劣化了双声道收听体验。

解决这一问题的潜在方法是从基于声道的表示中恢复原始的源(或者对象)，包括它们的位置和单声道干净的波形，并继而使用位置作为元数据来引导扬声器回放设备的平移(panning)算法，以实时重新渲染该对象并且创建与原始声音图像类似的声音图像。对于双声道渲染设置(代替使用有限数目的HRTF的是)，位置可以被用来选择最为合适的HRTF以进一步增强收听体验。

然而，处于基于声道的表示中的对象——该对象将用元数据来渲染——并不总是干净的。其可能同时混合有一些声道内的其他对象。例如，为了实现艺术家意图，混音器可能将两个对象同时放在收听者前方，一个对象表现为在中央和左前方之间，而另一个对象在中央和右前方之间的某一位置。这能使得中央前方声道包含两个对象。如果不使用源分离技术，则这两个对象将被视为一个对象，这将使得它们的位置估计不正确。

因此，为了得到干净的对象并且估计它的位置，需要源分离技术来将对象从其多声道混合中分离以产生干净的多声道或单声道表示。在上述示例中，例如期望单个多声道输入被源分离部件分割成两个多声道或单声道输出，每个仅包含一个干净的对象。

发明内容

为了解决前述和其他潜在问题，本文公开的示例实施例提出用于从音频内容提取音频对象的方法和系统。