[发明专利]以对文本文档的音频回放进行补充的视觉内容为特点的文本到语音界面

说明书

一种由计算设备实现的文本到语音(TTS)系统可以将图形用户界面中显示的文本内容自动转换为包括文本内容的语音的音频信号，并且计算设备可以向用户回放(例如，通过扬声器或耳机)音频信号。此外，计算设备可以在向用户回放音频信号期间进一步提供一种或更多种类型的补充视觉内容以显示给用户。作为一个示例，补充视觉内容可以包括“卡拉OK”样式的文本显示窗口，在该窗口中，文本内容的特定片段(例如，单词或句子)在音频信号的包括此类片段的语音的对应部分被回放时被突出显示或以其它方式在视觉上修饰。

相关申请的交叉引用

本申请要求享有2018年7月24日提交的美国临时专利申请第62/702,721号的优先权和权益。美国临时专利申请第62/702,721号通过引用全文合并于此。

技术领域

本公开总体上涉及文本到语音界面。更具体地，本公开涉及用于与和计算设备相关联地提供的文本内容(诸如图形用户界面中显示的文本内容)交互以及消费该文本内容的系统和方法。

背景技术

对于没有读写能力或读写能力低的用户，在与诸如例如网页的文档的文本内容交互和/或消费该文本内容时存在重大挑战。对于可能正在与他们吃力地阅读或无法阅读的语言的文本内容交互的用户，情况也是如此。还存在能够阅读的用户偏向于不阅读或身体上不能阅读的情形，例如，当他们想要向后靠的体验或他们的注意力在别处时，将页面用语言表达给他们更为有用。对于这些用户组和许多其他用户组，能够听到文档的文本内容会带来相当大的潜在益处。

然而，即使假设用户能够接收文档中的文本的音频回放，这样的音频回放也可能无法传达文档中包括的文本内容的全部上下文和/或无法使该文本内容被充分利用。例如，某些人可能无法仅专注于音频回放而变得分心。作为另一示例，某些人可能希望提高他们的读写能力或外语技能，仅文本的音频回放可能不能满足这些目的，因为这不对用户还要阅读或以其他方式在视觉上处理文本数据造成挑战。

发明内容

本公开的实施例的方面和优点将在以下描述中被部分地阐述，或者可以从该描述中获知，或者可以通过实施例的实践而获知。

本公开的一个示例方面针对一种计算机实现的方法。该方法包括通过一个或更多个计算设备获取描述文档中包括的文本内容的数据。该方法包括通过所述一个或更多个计算设备生成包括文本内容的语音的音频信号。该方法包括通过所述一个或更多个计算设备分析文本内容和音频信号之一或两者，以识别文本内容所引用的一个或更多个语义实体。该方法包括通过所述一个或更多个计算设备获取与所述一个或更多个语义实体相关联的一个或更多个视觉内容项。该方法包括通过所述一个或更多个计算设备引起向用户回放音频信号。该方法包括通过所述一个或更多个计算设备提供所述一个或更多个视觉内容项，以与向用户回放音频信号同时地显示给用户。

本公开的其它方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

本公开的各种实施例的这些及其它特征、方面和优点将参照以下描述和所附权利要求被更好地理解。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并与描述一起用于解释相关原理。

附图说明

在说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，该详细讨论参照附图，附图中：

图1A-图12示出了根据本公开的示例实施例的示例用户界面。

图13A描绘了根据本公开的示例实施例的示例计算系统的框图。

图13B描绘了根据本公开的示例实施例的示例计算设备的框图。

图13C描绘了根据本公开的示例实施例的示例计算设备的框图。

在多个附图中重复的附图标记旨在标识各种实施方式中的相同特征。

具体实施方式