[发明专利]对输入数据流进行混合以及从中产生输出数据流

说明书

技术领域

根据本发明的实施例涉及对多个输入数据流进行混合以获得输出数据流，并且相应地通过对第一和第二输入数据流进行混合来产生输出数据流。输出数据流例如可以在包括视频会议系统和电话会议系统在内的会议系统领域中使用。

背景技术

在许多应用中，要以以下方式来处理多于一个音频信号：根据多个音频信号，要产生一个信号或至少减小数目的信号，这通常称为“混合”。因此，混合音频信号的过程可以称为将多个单独音频信号捆绑为生成信号。例如在创建音乐用于致密光盘(“配音”)时，使用这一过程。在这种情况下，典型地，将不同乐器的不同音频信号与包括声乐表演(歌唱)的一个或多个音频信号混合为歌曲。

混合处理扮演重要角色的其他应用领域是视频会议系统和电话会议系统。典型地，这种系统能够通过采用中心服务器来对会议中的多个在空间上分散的参与者进行连接，中心服务器对注册参与者的输入视频和音频数据进行适当混合，并将生成信号返回发送给每个参与者。该生成信号或输出信号包括所有其他会议参与者的音频信号。

在现代数字会议系统中，多个部分矛盾的目标和方面互相竞争。必须考虑重构音频信号的质量，以及针对不同类型音频信号(例如话音信号相比于一般音频信号和音乐信号)，一些编码和解码技术的实用性和有效性。在设计和实现会议系统时还要考虑的其他方面是可用带宽和延迟问题。

例如，在对一方面质量和另一方面带宽进行平衡时，在多数情况下，折衷不可避免。然而，可以通过实现现代编码和解码技术，如AAC-ELD技术(AAC＝高级音频编解码；ELD＝增强低延迟)，来实现与质量相关的改进。然而，可实现的质量可能以更多的基本问题和方面对采用这种现代技术的系统造成负面影响。

仅列出要满足的一个挑战，所有数字信号传输面临所需量化的问题，至少在原理上，该问题在无噪声的模拟系统中的理想环境下是可避免的。由于量化过程，不可避免地将特定量的量化噪声引入要处理的信号。为了对抗可能和可听的失真，可能尝试增加量化级的数目，从而相应提高了量化分辨率。然而，这导致要发送更大数目的信号值，从而导致要发送的数据量增大。换言之，通过减小由量化噪声引入的可能失真来提高质量，在特定环境下将增大要发送的数据量，并且可能最终违反施加于传输系统上的带宽限制。

在会议系统的情况下，由于典型地要处理多于一个输入音频信号，因此对质量、可用带宽和其他参数之间的权衡进行改进的挑战甚至更加复杂。因此，在产生由会议系统产生的输出信号或生成信号时，必须考虑多于一个音频信号所施加的边界条件。

尤其是考虑到实现具有充分低延迟的会议系统的另一挑战：在不引入参与者认为不可接受的实质延迟的情况下，实现会议参与者之间的直接通信，这种挑战进一步提升。

在会议系统的低延迟实现中，典型地在延迟源的数目方面对其进行限制，另一方面，这可能导致在通过叠加或添加相应信号可以实现音频信号混合的时域之外处理数据的挑战。

一般而言，赞成仔细选择适合于会议系统的质量、可用带宽与其他参数之间的权衡，以便应对用于实时混合的处理开销、降低所需的硬件数量、并且保持硬件以及不包括音频质量的合理传输开销的成本。

为了减少传输的数据量，现代音频编解码器通常利用高复杂度工具来描述与相应音频信号的频谱分量有关的频谱信息。通过利用这种基于心理声学现象和检查结果的工具，可以实现部分矛盾参数与边界条件(例如，根据传输数据的重构音频信号的质量、计算复杂度、比特率、以及其他参数)之间改进的权衡。

例如，针对这种工具的示例是感知噪声替换(PNS)、时间噪声成形(TNS)、以及频谱带复制(SBR)，仅列举少数。所有这些技术基于描述具有与不使用这些工具所基于的数据流相比减少比特数目的频谱信息的至少一部分，可以将更多比特分配给频谱中频谱的重要部分。因此，在保持比特率的同时，可以通过使用这样的工具来提高质量感知级。当然，可以选择不同权衡，从而减少音频信号的每帧传输的比特数目，同时保持总音频印象。还可以同样极好地实现这两个极端之间的不同权衡。

这些工具也可以使用在电信应用中。然而，当在这种通信情况下存在多于两个参与者时，采用会议系统用于混合多于两个参与者的两个或多个比特流是有利的。类似于上述的情况出现在纯基于音频的或电话会议情况以及视频会议情况。

例如，在US 2008/0097764A1中描述了一种在频域中工作的会议系统，该系统执行频域中的实际混合，并从而省略将输入音频信号重变换到时域中的操作。