[发明专利]空间声渲染方法、装置和电子设备

说明书

本发明实施例公开了空间声渲染方法、装置和电子设备，该方法包括：获取给定的用于定义扬声器阵列解码渲染质量的至少两个客观指标，根据至少两个客观指标生成目标函数；根据扬声器的数量和位置得到至少两个解码系数；根据至少两个解码系数计算目标函数的值，通过非线性优化得到权重系数；根据至少两个解码系数和权重系数得到最终加权解码系数；根据扬声器的数量和位置构造特征向量，并以最终加权解码系数作为目标向量训练深度学习模型，通过深度学习模型预测至少两种解码系数的权重；根据至少两种解码系数的权重进行空间声渲染。本发明通过输入扬声器的数量和位置信息，自动的生成最优的参数，提升空间声渲染效果。

技术领域

本发明实施例涉及音频处理技术领域，具体涉及空间声渲染方法、装置和电子设备。

背景技术

近年来，随着高清视频的不断发展，从2K到4K，甚至8K，还有伴随着虚拟现实VR、AR的发展，人们对音频的听觉要求也随之提高。人们已不再满足于流行多年的立体声、5.1、7.1等音响效果，开始追求更具有沉浸感、真实感的3D音效或沉浸式音效。目前，沉浸式音频处理主要基于通道(channel-based audio，CBA)、对象音频(object-based audio，OBA)和Ambisonics场景音频(scene-based audio，SBA)等技术进行处理，包含音频制作、编解码、打包以及渲染等技术。

Ambisonics利用球谐函数记录声场并驱动扬声器，具有严格的扬声器排布要求，能够在扬声器中心位置高质量重建原始声场。在渲染移动音源时，HOA(Higher OrderAmbisonics)会营造出更加流畅，平滑的听感。此外，幅度矢量合成(Vector BasedAmplitude Panning，VBAP)基于三维空间中的正弦法则，利用空间中3个临近的扬声器形成三维声音矢量，不会影响低频的双耳时间差(ITD)或者高频的频谱线索，对声音在三维空间中的定位更加精准。由于该算法简单，VBAP成为最常用的多声道三维音频处理技术。

混合式的Ambisonic-VBAP方法被称为“全方位ambisonic解码”(AllRAD)，简而言之，计算一种用于均匀虚拟扬声器阵列的解码器然后用VBAP映射虚拟阵列的信号到真实扬声器阵列。对于给定平移方向和扬声器阵列，VBAP总是生成尽可能小的能量角扩散，因此虚拟声源的大小取决于方向。但这与Ambisonic方法直接相悖，后者试图保持恒定的虚拟声源大小，与方向无关。为了缓解这种情况，需要虚拟扬声器的数量远远多于真正的扬声器数量，或者对于间距大的扬声器群组，插入虚拟扬声器。但是事实上，恒定能量仍然还是被VBAP破坏了。

发明内容

本发明实施例的目的在于提供空间声渲染方法、装置和电子设备，用以解决现有VBAP处理效果不佳的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种空间声渲染方法，包括：

获取给定的用于定义扬声器阵列解码渲染质量的至少两个客观指标，根据所述至少两个客观指标生成目标函数；

根据扬声器的数量和位置得到至少两个解码系数；

根据所述至少两个解码系数计算所述目标函数的值，通过非线性优化得到权重系数；

根据所述至少两个解码系数和权重系数得到最终加权解码系数；

根据所述扬声器的数量和位置构造特征向量，并以所述最终加权解码系数作为目标向量训练深度学习模型，通过所述深度学习模型预测所述至少两种解码系数的权重；

根据所述至少两种解码系数的权重进行空间声渲染。

根据本发明的一个实施例，所述至少两个客观指标包括以下指标中的至少两个指标：

速度局部化矢量和声源方向的均方根误差；