[发明专利]以对文本文档的音频回放进行补充的视觉内容为特点的文本到语音界面

权利要求书

1.一种计算机实现的方法，该方法包括：

通过一个或更多个计算设备获取描述文档中包括的文本内容的数据；

通过所述一个或更多个计算设备提供用于显示给用户的图形用户界面，其中图形用户界面呈现文档中包括的文本内容的至少一部分，以及其中图形用户界面包括图形音频快捷方式特征，该图形音频快捷方式特征使用户能够请求文本内容的至少一部分的音频回放；

通过所述一个或更多个计算设备接收选择图形音频快捷方式特征的用户输入；

通过所述一个或更多个计算设备生成包括文本内容的语音的音频信号；

通过所述一个或更多个计算设备分析文本内容和音频信号之一或两者，以识别文本内容所引用的一个或更多个语义实体；

通过所述一个或更多个计算设备获取与所述一个或更多个语义实体相关联的一个或更多个视觉内容项；

通过所述一个或更多个计算设备引起向用户回放音频信号；以及

通过所述一个或更多个计算设备提供所述一个或更多个视觉内容项以与向用户回放音频信号同时地在图形用户界面中显示给用户。

2.根据权利要求1所述的计算机实现的方法，其中通过所述一个或更多个计算设备提供所述一个或更多个视觉内容项以与向用户回放音频信号同时地显示给用户包括：在发生音频信号的引用语义实体的相应部分的回放的相应时间段期间，通过所述一个或更多个计算设备提供显示多个视觉内容项中的相应的一个，这样的相应的视觉内容项与所述语义实体相关联。

3.根据任何前述权利要求所述的计算机实现的方法，其中通过所述一个或更多个计算设备获取描述文档中包括的文本内容的数据包括：通过所述一个或更多个计算设备获取描述文档中包括的文本内容的子集的数据，该子集已由用户选择，其中仅相对于文本内容的已由用户选择的子集执行所述生成、分析和获取。

4.根据任何前述权利要求所述的计算机实现的方法，其中通过所述一个或更多个计算设备获取与所述一个或更多个语义实体相关联的所述一个或更多个视觉内容项包括：通过所述一个或更多个计算设备从文档获取一个或更多个视觉内容项。

5.根据任何前述权利要求所述的计算机实现的方法，其中通过所述一个或更多个计算设备获取与所述一个或更多个语义实体相关联的所述一个或更多个视觉内容项包括：通过所述一个或更多个计算设备从不同于文档的外部数据源获取一个或更多个视觉内容项。

6.根据任何前述权利要求所述的计算机实现的方法，其中通过所述一个或更多个计算设备获取与所述一个或更多个语义实体相关联的所述一个或更多个视觉内容项包括：通过所述一个或更多个计算设备访问知识图谱，以获取知识图谱内的与所述一个或更多个语义实体相关联的视觉内容项。

7.根据任何前述权利要求所述的计算机实现的方法，其中所述一个或更多个视觉内容项包括以下中的一个或更多个：静止图像、动画或视频。

8.根据任何前述权利要求所述的计算机实现的方法，进一步包括：

通过所述一个或更多个计算设备在图形用户界面中提供文本显示区域，以与向用户回放音频信号同时地显示给用户，其中文本显示区域显示文本的至少一部分，文本的所述至少一部分对应于音频信号的当前正在针对其发生回放的当前部分。

9.根据权利要求8所述的计算机实现的方法，其中通过所述一个或更多个计算设备提供所述一个或更多个视觉内容项以与向用户回放音频信号同时地显示给用户包括：通过所述一个或更多个计算设备提供所述一个或更多个视觉内容项以在文本显示区域内或邻接文本显示区域显示给用户。

10.根据权利要求9所述的计算机实现的方法，其中通过所述一个或更多个计算设备提供所述一个或更多个视觉内容项以在文本显示区域内或邻接文本显示区域显示给用户包括：通过所述一个或更多个计算设备提供所述一个或更多个视觉内容项作为文本显示区域的背景，以及其中文本的在文本显示区域内显示的所述部分叠加在所述一个或更多个视觉内容项上。