[发明专利]沉浸式可视化系统中用户语音的实时重构

说明书

具有音频能力的可视化系统包括一个或多个显示设备、一个或多个话筒、一个或多个扬声器、以及音频处理电路。当显示设备向用户显示全息图像时，话筒输入用户的发言，或来自用户环境的声音，并将其提供给音频处理电路。音频处理电路以实时的方式处理发言(或其他声音)以添加与图像相关联的音频效果以便增加真实性，并经由扬声器以具有非常低的等待时间的实时的方式来向用户输出经处理的发言(或其他声音)。

发明领域

本发明的至少一个实施例涉及虚拟现实和增强现实可视化系统，并更具体而言，涉及用于在此类系统中处理音频的技术。

背景

随着虚拟现实(VR)和增强现实(AR)技术的成熟，VR和AR可视化系统开始被引入主流的消费电子市场。AR头戴式显示(HMD)设备(“AR-HMD设备”)是此类技术的一种有前景的应用。这些设备可包括使得用户能够同时看到他们周围的现实世界和由设备生成并显示的虚拟内容两者的透明显示元件。看起来像是叠加在现实世界视图上的虚拟内容通常被称为AR内容。

VR和AR可视化系统可为用户提供娱乐、沉浸式的虚拟环境，在该虚拟环境中他们能够可视地和可听地经历他们在现实生活中通常可能不能经历的事物。然而，在此类环境中，如果用户说话或发出语音命令，并且用户的语音与用户所见的内容(包括被显示的虚拟内容)听起来不一致，则所感知的环境真实性可能被降级。

概述

本文所介绍的技术包括一种音频处理方法，通过该音频处理方法AR或VR可视化系统可产生与用户所见的显示图像更一致的声音，并且其因此更逼真。在该方法的某些实施例中，HMD设备在该用户环境的现实世界视图上向该设备的用户显示物理事物的全息图像。然后，在全息图像被显示给用户的同时该HMD设备经由话筒输入该用户的语音，在该全息图像仍然被显示的同时以实时的方式动态地处理用户语音数据以并入与物理事物相对应的音频效果，并然后在该全息图像被显示给用户的同时基于动态修改的用户语音数据经由扬声器以实时的方式输出表示受物理事物所影响的用户的语音的声音。根据附图和详细描述，该技术的其他方面将显而易见。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图简述

在附图中的各图中作为示例而非限制解说了本发明的一个或多个实施例，其中相同的标记指示相似的元素。

图1A示意性地例示了本文所介绍的音频处理技术。

图1B示出了包括可实现本文所介绍的音频处理技术的AR-HMD设备的环境的示例。

图2示出了其中音频处理技术可被实现的AR-HMD设备的透视图。

图3例示了AR-HMD设备的正视图。

图4例示了AR-HMD设备的侧视图。

图5是示出AR-HMD设备的各种功能组件的示例的框图。

图6示意性地例示了用于隔离用户的语音的音频波束成形技术。

图7是包括两个端射式话筒阵列的音频子系统的框图。

图8是例示AR-HMD设备的音频子系统的示例的框图。

图9是示出根据本文所介绍的技术的音频处理过程的示例的流程图。

图10是可由AR-HMD设备提供的包括AR内容的第一视图的示例。

图11是可由AR-HMD设备提供的包括具有附加音频效果的AR内容的第二视图的示例。