[发明专利]音频处理

说明书

根据示例实施例，提供了一种用于音频聚焦的方法，该方法包括：接收多通道音频信号，该多通道音频信号表示在与图像的图像区域中的各位置对应的声音方向上的声音；接收与该图像区域中的第一位置对应的音频焦点方向的指示；从多个不同的可用候选方向中选择主声音方向，其中，所述多个不同的可用候选方向包括所述音频焦点方向和一个或多个偏移候选方向，并且其中，每个偏移候选方向与偏离该图像区域中的所述第一位置的相应候选偏移相对应；以及基于所述多通道音频信号，根据所选择的主声音方向，获得输出音频信号，其中，相对于在除了经由所选择的主声音方向定义的声音方向之外的声音方向上的声音，强调在经由所选择的主声音方向定义的声音方向上的声音。

技术领域

本发明的示例和非限制性实施例涉及多通道音频信号的处理。特别地，本发明的各种实施例涉及基于多通道音频信号来获得波束成形音频信号。

背景技术

多年来，诸如移动电话和平板计算机之类的移动设备已经配备了使设备的用户能够同时捕获音频和视频的相机和麦克风布置。随着麦克风技术的发展以及移动设备中可用的处理能力和存储容量的增加，为这种移动设备提供能够捕获多通道音频的多麦克风布置正变得越来越普遍，这反过来又能够将所捕获的多通道音频处理成空间音频以伴随同时捕获的视频。

通常，使用移动设备来捕获多通道音频信号的过程包括：操作在移动设备中布置的麦克风阵列以捕获多个麦克风信号；以及将所捕获的麦克风信号处理成记录的多通道音频信号，以用于在移动设备中进行进一步处理，用于与相关联的视频一起存储在移动设备中和/或发送到一个或多个其他设备。在典型场景中，移动设备的用户旨在记录多通道音频信号，该多通道音频信号表示与相机的视场(FOV)对应的音频场景，从而使能在捕获时对视听场景的全面呈现。

在捕获或渲染视听场景时，用户可能希望应用音频聚焦以强调音频场景的某些方向上的声音和/或淡化音频场景的某些其他方向上的声音。基于本领域中已知的波束成形技术的音频聚焦方案使能例如放大从所选择方向到达的也可能与视频的FOV的相应子部分对应的声音，从而提供音频，其中强调从与可描绘感兴趣对象的FOV的所选择子部分对应的音频场景的方向到达的声音。

然而，在实际实现中，移动设备中可用麦克风信号的数量和麦克风的相应位置以及可用波束成形技术的限制对音频聚焦的选择性和/或所得到的音频信号的音频质量施加了限制。特别地，由于生成任意空间选择性波束图中的限制，在移动设备处可用的麦克风信号通常仅使能导致相对宽波束的波束成形，其中，相对于源自位于其中波束图具有更小幅度的区域中的声源的声音，单个波束图可以放大源自位于其中波束图具有更大幅度的区域中多个声源的声音。波束成形或空间滤波的这种特征可以被概念化为焦点区，其中该焦点区由其中波束图的幅度相对高的方向组成。在实践中，波束图可以随频率(以及时间，取决于波束成形技术)而变化，并且波束图可具有旁瓣，因此可以理解，术语“焦点区”在本文中是说明焦点处理的主要捕获区域的概念性术语。已知的波束成形技术通常不允许在焦点区内到达的声音与从焦点区之外的方向到达的声音之间有清晰的边界，并因此在实际场景中，驻留在焦点区之外的声音的衰减随着与焦点区的距离的增加而逐渐增加。因此，源自在焦点区之外但相对靠近焦点区的声源的声音通常没有被衰减到足够的程度。

因此，在实际实现中，在其中所捕获的多通道音频信号表示在相应空间位置中的彼此接近的两个或更多个声源的场景中，即使用户将音频焦点设置或集中到单个感兴趣的声源，音频聚焦通常也会强调源自所有这些声源的声音。此外，在这种场景中，用户将音频焦点的中心从一个声源移动到另一个声源可能仅对所得到的处理后音频产生可忽略不计的影响(如果有的话)。这两个方面都限制了音频聚焦方案的适用性，并且在许多情况下会导致用户体验受损。

发明内容