[发明专利]语音到文本转换

权利要求书

1.一种用于将来自环境的音频输入转换成文本的语音转换系统，包括：

操作上连接到计算设备的头戴式显示设备，所述头戴式显示设备包括：

包括透明显示器的显示系统；

用于跟踪用户的眼睛的注视的眼睛跟踪系统；

包括被刚性安置在所述头戴式显示设备上以接收音频输入的多个话筒的话筒阵列；以及

用于捕捉图像数据的一个或多个图像传感器；

由所述计算设备的处理器执行的脸部检测程序，所述脸部检测程序被配置为从所述图像数据检测一个或多个可能的脸；

由所述计算设备的处理器执行的用户聚焦程序，所述用户聚焦程序被配置为使用来自所述眼睛跟踪系统的眼睛跟踪数据来确定用户聚焦于的目标脸；以及

由所述计算设备的处理器执行的语音转换程序，所述语音转换程序被配置为：

使用应用于来自所述话筒阵列的音频输入的至少一部分的波束成形技术来标识与所述目标脸相关联的目标音频输入以供用于语音到文本转换；

将所述目标音频输入转换成文本；

在所述目标音频输入涉及环境时将经转换的文本地理定位到所述环境；以及

经由所述头戴式显示设备的所述透明显示器显示被地理定位在所述环境中的所述文本达一时间段。

2.如权利要求1所述的语音转换系统，其特征在于，所述语音转换程序被进一步配置成：

访问对应于与所述目标脸相关联的身份的语音模式数据；以及

使用所述语音模式数据来将所述目标音频输入转换成所述文本。

3.如权利要求1所述的语音转换系统，其特征在于，显示的文本被标记给对应于与所述目标脸相关联的身份的人。

4.一种用于将来自环境的音频输入转换成文本的方法，所述音频输入是在头戴式显示设备的话筒阵列处被接收到的，包括：

从所述环境中捕捉图像数据；

从所述图像数据中检测一个或多个可能的脸；

使用来自所述头戴式显示设备的眼跟踪系统的眼跟踪数据来确定用户所聚焦于的目标脸；

使用应用于来自所述话筒阵列的音频输入的至少一部分的波束成形技术来标识与所述目标脸相关联的目标音频输入以供用于语音到文本转换；

将所述目标音频输入转换成文本；

在所述目标音频输入涉及环境时将经转换的文本地理定位到所述环境；以及

经由所述头戴式显示设备的透明显示器显示被地理定位在所述环境中的所述文本达一时间段。

5.如权利要求4所述的方法，其特征在于，进一步包括：

从所述环境中接收来自一个或多个外部源的附加音频输入；以及

使用所述附加音频输入来标识所述目标音频输入。

6.如权利要求4所述的方法，其特征在于，进一步包括：

从所述图像数据中标识一个或多个手语字母和单词；

将所述字母和单词转换成符号文本；以及

通过所述头戴式显示设备的透明显示器显示所述符号文本。

7.如权利要求4所述的方法，其特征在于，进一步包括：

从所述目标脸的所述图像数据标识所述目标脸的一个或多个嘴唇和舌头的移动；

将所述移动转换成唇读文本；以及

通过所述头戴式显示设备的透明显示器显示所述唇读文本。

8.如权利要求4所述的方法，其特征在于，所述话筒阵列包括全向话筒，并且还包括：

标识在所述全向话筒中的一者或多者处接收到语音的位置；以及

使用应用于在所述全向话筒中的一者或多者处接收到的语音的波束成形技术标识与所述位置相关联的目标音频输入。