[发明专利]一种基于听觉匹配的虚拟声定制方法及装置

说明书

本发明公开了一种基于听觉匹配的虚拟声定制方法及装置。本发明的方法包括：从用户头部3D模型中提取HRTF相关的生理特征值；输入听觉评估神经网络，预测听觉分数；从已知HRTF数据库中挑选出最高听觉分数所对应的HRTF数据，作为用户听觉匹配的HRTF数据；将原始单通路信号、听觉匹配HRTF数据、房间脉冲响应依次进行时间域卷积处理或等价地频率域滤波处理，得到用户定制的双耳虚拟声信号。本发明利用现有移动终端的3D传感装置，涵盖了HRTF相关的生理特征量；同时，直接建立生理特征值和主观听感的非线性关系，提高了HRTF匹配以及虚拟声定制的精度，有助于降低虚拟声重放设备的定位误差、提高用户沉浸感。

技术领域

本发明涉及3D虚拟声技术领域，具体涉及一种基于听觉匹配的3D虚拟声定制的方法及装置，其生成为满足个体听觉特性的虚拟声。

背景技术

头相关传输函数(head-related transfer function,HRTF)是3D虚拟声技术的核心数据。HRTF与原始单通路信号以及房间脉冲响应进行运算所合成的双耳虚拟声信号，从物理的角度重构了真实3D声场景中某声源所对应的双耳声压信号，经耳机重放可以使用户获得和真实声源相同或相似的主观感受(即现场感和沉浸感)。

从物理起源上看，HRTF表征了从声源到双耳的传输过程中声波与人体生理结构(如头部、耳廓)的相互作用。一方面，每个空间声源方位对应一对HRTF数据(左耳HRTF和右耳HRTF)；3D虚拟声重放需要大量空间方位的HRTF数据。另一方面，不同个体的生理结构具有不同的生理特征(如不同的头部尺寸和耳廓精细结构)，因此HRTF是一个因人而异的个性化物理量。现有研究表明，为了获得高质量的3D虚拟声重放效果，需要采用听者自己的个性化HRTF数据进行虚拟声合成；而采用非个性化HRTF可能引起定位精度下降、头中率和前后混乱率增高的不良现象。个性化HRTF可以通过实验室测量或数值计算获取。然而，这两种方法都需要专业设备、场地且非常耗时，很难将其用于获取虚拟声产品潜在用户的个性化HRTF数据(Xie B.S.,Head-Related Transfer Function and Virtual AuditoryDisplay,J.Ross Publishing,USA,2013)。

依据现有的HRTF数据库(部分数据库已在互联网公开，例如美国CIPIC数据库、奥地利ARI数据库等)，有研究提出采用匹配的方法获取个性化HRTF的近似。该方法的基本思路是：依据特定的匹配因子，从HRTF数据库中挑选出和用户匹配的HRTF数据，作为用户个性化HRTF的近似。HRTF匹配法的精度主要取决于匹配因子的选择。目前的匹配因子主要有两种：1)生理特征值；2)少量空间方位的HRTF。虽然生理特征值的异同是HRTF异同的主要原因，然而HRTF相关生理特征值的选取以及权重赋值，都是尚未完全解决并取得共识的问题。这将直接影响基于生理特征值的HRTF匹配的精度。另一方面，由于声波和生理结构相互作用的复杂性，采用少量空间方位的HRTF匹配出大量空间方位的HRTF的思路可能会出现“以偏概全”的错误。整体来看，最终的虚拟声重放是一个从生理到物理(即HRTF)再到心理(即听觉感知)的复杂过程，无论是基于生理特征值还是基于少量空间方位HRTF的匹配方法都未能直接和听觉感知效果关联。这也是现有HRTF匹配法精度有限的主要原因。而有限精度的HRTF匹配效果也将直接影响后续基于HRTF的虚拟声定制的效果。

发明内容

本发明为解决上述现有个性化HRTF匹配以及虚拟声定制方法的缺陷，提供一种基于听觉匹配的虚拟声定制方法及装置。本发明以神经网络预测的听觉分数为匹配因子，从已有的HRTF数据库中挑选出对应最高听觉分数的HRTF数据，作为用户听觉匹配的HRTF数据进行虚拟声合成。该方法可提升现有基于匹配的HRTF以及虚拟声的定制效果，包括仰角定位精度的提高以及头中率和前后混乱率的下降。

本发明的目的至少通过以下技术方案之一实现。

一种基于听觉匹配的虚拟声定制方法，其包括如下步骤：

步骤1、获取用户头部的3D模型；