[发明专利]语音到文本转换

摘要

公开了涉及将来自环境的音频输入转换成文本的各实施例。例如，在一个公开的实施例中，语音转换程序接收来自头戴式显示设备的话筒阵列的音频输入。从环境中捕捉图像数据，并且从图像数据中检测一个或多个可能的脸。眼睛跟踪数据被用于确定用户聚焦于的目标脸。波束成形技术被应用于音频输入的至少一部分以标识与目标脸相关联的目标音频输入。这些目标音频输入被转换成通过头戴式显示设备的透明显示器来显示的文本。

主权项

一种语音转换系统，包括：操作上连接到计算设备的头戴式显示设备，所述头戴式显示设备包括：包括透明显示器的显示系统；用于跟踪用户的眼睛的注视的眼睛跟踪系统；包括被刚性安置在所述头戴式显示设备上以接收音频输入的多个话筒的话筒阵列；以及用于捕捉图像数据的一个或多个图像传感器；由所述计算设备的处理器执行的脸部检测程序，所述脸部检测程序被配置为从所述图像数据检测一个或多个可能的脸；由所述计算设备的处理器执行的用户聚焦程序，所述用户聚焦程序被配置为使用来自所述眼睛跟踪系统的眼睛跟踪数据来确定用户聚焦于的目标脸；以及由所述计算设备的处理器执行的语音转换程序，所述语音转换程序被配置为使用应用于来自所述话筒阵列的音频输入的至少一部分的波束成形技术来标识与所述目标脸相关联的目标音频输入以供用于语音到文本转换。