[发明专利]沉浸式可视化系统中用户语音的实时重构

权利要求书

1.一种操作具有音频能力的头戴式显示设备的方法，包括：

通过所述头戴式显示设备生成所述头戴式显示设备的用户的物理环境的表面重构；

通过所述头戴式显示设备，在所述用户的环境的现实世界视图上向所述用户显示物理事物的全息图像；

在所述全息图像被显示给所述用户的同时，经由所述头戴式显示设备的话筒输入所述用户的语音；

在所述全息图像被显示给所述用户的同时，基于所述表面重构以实时的方式动态地处理表示所述用户的所述语音的用户语音数据以合并与所述物理事物相对应的音频效果；以及

在所述全息图像被显示给所述用户的同时，基于动态处理的用户语音数据，经由扬声器以实时的方式输出表示受所述物理事物影响的所述用户的所述语音的声音。

2.如权利要求1所述的方法，其特征在于，针对所述用户的输入语音的任何特定音频样本，所述输入所述用户的语音和所述向所述用户输出声音之间的等待时间小于75毫秒。

3.如权利要求1所述的方法，其特征在于，所述物理事物是对象或物质。

4.如权利要求1所述的方法，其特征在于，所述物理事物是对象或物质中的腔或孔。

5.如权利要求1所述的方法，其特征在于，进一步包括：

通过所述头戴式显示设备跟踪所述用户的头部位置或头部定向中的至少一者；

其中动态地处理所述用户语音数据进一步基于所述用户的所述头部位置或所述头部定向中的至少一者。

6.如权利要求5所述的方法，其特征在于，动态地修改所述用户语音数据包括基于所述用户的所述头部位置或头部定向中的至少一者来确定经修改的用户语音数据的方向性参数。

7.如权利要求1所述的方法，其特征在于，动态地处理所述用户语音数据包括基于所述用户的头部位置或头部定向中的至少一者来确定经修改的用户语音数据的体积参数。

8.如权利要求1所述的方法，其特征在于，动态地处理所述用户语音数据包括基于所述用户的头部位置或头部定向中的至少一者来确定经修改的用户语音数据的混响参数。

9.如权利要求1所述的方法，其特征在于，动态地处理所述用户语音数据包括基于所述用户的头部位置或头部定向中的至少一者来确定所述用户语音的模拟回传的源方向。

10.一种操作具有音频能力的头戴式显示设备的方法，所述方法包括：

通过所述头戴式显示设备生成所述头戴式显示设备的用户所位于的物理环境的表面重构；

通过所述头戴式显示设备，向所述用户显示描绘物理事物的全息图像，使得所述全息图像被叠加在所述用户所位于的所述物理环境的现实世界视图上；

在所述全息图像被显示给所述用户的同时，通过使用所述头戴式显示设备的话筒阵列来输入所述用户的语音；

在所述全息图像被显示给所述用户的同时，基于所述表面重构动态地修改表示所述用户的所述语音的用户语音数据以合并与所述物理事物的声学属性相对应的音频效果；以及

在所述全息图像被显示给所述用户的同时，基于经修改的用户语音数据经由所述头戴式显示设备的扬声器向所述用户输出声音，以产生与所述物理事物的所述声学属性相对应的应用于所述用户的所述语音的可听效果。

11.如权利要求10所述的方法，其特征在于，所述物理事物是以下各项中的至少一者：

对象或物质；或

对象或物质中的腔或孔。

12.如权利要求10所述的方法，其特征在于，进一步包括：

通过所述头戴式显示设备跟踪所述用户的头部位置或头部定向中的至少一者；

其中动态地修改所述用户语音数据进一步基于所述用户的所述头部位置或所述头部定向中的至少一者。