[发明专利]在计算设备上自动为内容的可听部分加字幕

权利要求书

1.一种计算机实现的方法，包括：

由计算设备的处理器从所述计算设备的音频混合器获得从在所述计算设备处执行的应用输出的音频数据，所述音频数据包括指示内容的可听部分的数据；

由所述处理器使用所述音频数据来确定所述音频数据是否是适合于加字幕的类型；

响应于确定所述音频数据是适合于加字幕的类型，由所述处理器确定所述内容的可听部分的描述；以及

在输出所述内容的视觉部分用于显示时，由所述处理器输出所述内容的可听部分的所述描述用于显示。

2.根据权利要求1所述的方法，其中，指示所述内容的可听部分的所述数据是非元数据，并且所述音频数据进一步包括元数据，其中，确定所述音频数据是否是适合于加字幕的类型包括：由所述处理器使用所述元数据来确定所述音频数据是否是适合于加字幕的类型。

3.根据权利要求1和权利要求2中的任一项所述的方法，其中，所述内容的可听部分的所述描述包括来自所述内容的可听部分的口头音频的转录。

4.根据权利要求1-3中的任一项所述的方法，其中，所述内容的可听部分的所述描述包括来自所述内容的可听部分的非口头音频的描述。

5.根据权利要求4所述的方法，其中，所述非口头音频包括来自特定源的噪声，并且来自所述特定源的所述噪声的描述包括所述特定源的指示。

6.根据权利要求5所述的方法，其中：

所述噪声包括来自动物源的动物噪声，或

所述噪声包括来自非动物源的环境噪声。

7.根据权利要求1-6中的任一项所述的方法，其中，确定所述内容的可听部分的所述描述包括：由所述计算设备的所述处理器执行机器学习模型，所述机器学习模型被训练以从所述音频数据中确定描述以确定所述内容的可听部分的所述描述。

8.根据权利要求7所述的方法，其中，所述机器学习模型包括端到端循环神经网络换能器自动语音辨识模型。

9.根据权利要求1-8中的任一项所述的方法，其中，指示所述内容的可听部分的所述数据包括尚未被注释用于加字幕的未注释数据。

10.根据权利要求1-9中的任一项所述的方法，其中，所述描述包括指示从所述内容的可听部分中提取的非口头音频的文本。

11.根据权利要求1-10中的任一项所述的方法，其中，所述描述包括识别所述内容的可听部分的不同部分的人类源或非人类源的文本。

12.根据权利要求1-11中的任一项所述的方法，其中，输出所述内容的可听部分的所述描述包括：由所述处理器输出所述内容的可听部分的所述描述作为除所述内容的视觉部分之外以及除所述应用的图形用户界面之外的持久性元素，以用于显示。

13.根据权利要求12所述的方法，进一步包括：

响应于由所述处理器接收与所述持久性元素相关联的用户输入，修改所述持久性元素的大小以显示从所述内容的可听部分中生成的先前或后续描述。

14.一种包括至少一个处理器的计算设备，所述至少一个处理器被配置为执行权利要求1-13所述的方法中的任一个。

15.一种包括指令的计算机可读存储介质，所述指令在被执行时配置计算设备的处理器以执行权利要求1-13所述的方法中的任一个。