[发明专利]用于确定头部相关传递函数的方法和存储介质

说明书

实施例涉及通过使用用户的头部的图像执行模拟来获得头部相关传递函数(HRTF)。部分基于用户的头部的一个或更多个图像来确定用户的头部的几何结构。基于所生成的几何结构来执行从音频源到用户的头部的声音传播的模拟。几何结构可以以三维网格或基于主成分分析(PCA)的方式来表示，其中用户的头部被表示为测试对象的头部的代表性三维形状的组合。

相关申请的交叉引用

本申请要求2018年5月11日提交的美国专利申请62/670,628和2019年4月22日提交的美国专利申请16/390,918的权益，这两个专利申请在此通过引用以其整体并入。

背景

本公开大体上涉及立体声，并且具体涉及通过使用深度信息和/或主成分分析(PCA)的模拟来确定头部相关传递函数(HRTF)。

双耳感知的声音可能不同，这取决于声源相对于每只耳朵的方向和位置以及感知声音的房间的周围环境。人类可以通过比较每只耳朵感知的声音来确定声源的位置。在“环绕声(surround sound)”系统中，多个扬声器使用HRTF再现声音的方向方面。HRTF表征耳朵如何接收来自空间某一点的声音。相对于人的特定源位置的HRTF对于人的每只耳朵是唯一的(并且对于这个人是唯一的)，这是由于人的解剖结构在声音传播到人的耳朵时会影响声音。当声音撞击人时，头部、耳朵、耳道的大小和形状、头部的密度、鼻腔和口腔的大小和形状会改变声音，并影响用户如何感知声音。

传统上，在声音阻尼室(sound dampening chamber)中针对相对于人的许多不同源位置(例如，典型地超过100个扬声器)来确定HRTF。然后，所确定的HRTF可用于为人产生“环绕声”体验。此外，为了减少误差，通常针对每个扬声器位置确定多个HRTF(即，每个扬声器产生多个离散的声音)。因此，对于高质量的环绕声，需要相对长的时间(例如，一个多小时)来确定HRTF，因为对于许多不同的扬声器位置确定了多个HRTF。此外，用于测量足以获得高质量环绕声的HRTF的基础设施相当复杂(例如，声音阻尼室、一个或更多个扬声器阵列等)。因此，用于获取HRTF的传统方法在硬件资源和/或所需时间方面效率低下。

概述

实施例涉及通过使用用户的头部的图像执行模拟来获得头部相关传递函数(HRTF)。部分基于用户的头部的一个或更多个图像来确定用户的头部的几何结构。基于所生成的几何结构来执行从音频源到用户的头部的声音传播的模拟。几何结构可以用三维网格或基于主成分分析(PCA)的几何结构来表示，其中用户的头部被表示为测试对象的头部的代表性三维形状的组合。

在一个实施例中，通过基于初始PCA模型确定测试对象的头部图像的基于PCA的几何结构，来获得用于生成基于PCA的几何结构的PCA模型。然后，对基于PCA的几何结构进行模拟，以确定测试对象的模拟的HRTF。确定模拟的HRTF和测量的HRTF之间的差值。基于所确定的差值，通过修改初始PCA模型或通过更新从初始PCA模型导出的一个或更多个中间PCA模型来生成更新的PCA模型。当测量的HRTF和基于更新的PCA模型的基于PCA的几何结构的模拟的HRTF之间的差值低于阈值时，更新的PCA模型被确定为用于表示用户的头部的PCA模型。

附图简述

图1是根据一个实施例的使用用户图像来确定用户的HRTF的系统的示意图。

图2是根据一个实施例的捕捉用户的头部图像的HMD的示例视图。

图3是根据一个实施例的用于确定用户的HRTF的服务器的框图。

图4是根据一个实施例的概念图，其示出了基于用户的头部的三维网格几何结构来模拟HRTF。

图5是根据一个实施例的使用转换成三维网格的捕获图像来确定HRTF的流程图。

图6A是示出根据一个实施例通过将用户的头部的图像转换成基于PCA的几何结构来生成模拟HRTF的概念图。