[发明专利]在计算设备上自动为内容的可听部分加字幕

说明书

描述了一种用于对内容自动加字幕的计算设备。与通常依赖于正被发送给扬声器的音频信号中包含的信息的其他加字幕系统不同，该计算设备直接从正从内容源输出的音频数据中生成字幕。计算设备可以分析元数据以确定音频数据是否适合于加字幕或音频数据是否是某个其他类型的音频数据。响应于识别用于加字幕的音频数据，计算设备可以快速生成从音频数据中解释的可听声音的描述。无论可听内容的应用源如何并且不管计算设备是否曾经产生该内容的音频，计算设备可以在视觉上提供对该可听内容的描述。

背景技术

除了专业制作的电影和电视节目外，大多数可听内容没有被加字幕，因此，许多具有听力困难或以其他方式无法听到内容的用户无法访问该内容。一些自动加字幕系统可用，但是这些系统可能昂贵、复杂且难以维护。一些自动加字幕系统需求到扬声器的音频输出作为输入，并且可能不太适合在安静的环境中提供加字幕。为了避免维护自动加字幕系统所涉及的成本和复杂性，一些计算设备访问基于云的加字幕服务，这些服务需求将内容上载到远程服务器以加字幕，从而潜在地降低了用户的隐私和便利性。

发明内容

描述了一种作为本地、系统级服务的用于对内容自动加字幕的计算设备。与通常依赖于正作为输入被发送给扬声器的音频信号中包含的信息的其他加字幕系统不同，该计算设备从正从内容源(例如，应用)中输出的音频数据中直接生成字幕。计算设备可以分析标记到音频数据的元数据(例如，非音频部分)，以确定音频数据是否适合于加字幕，或者音频数据是否是某种其他类型的音频数据(例如，系统声音效果)。

响应于识别用于加字幕的音频数据，并且响应于确定启用自动加字幕(例如，经由用户输入)，计算设备使用机器学习模型来快速生成从音频数据解释的可听声音的描述。无论可听内容的应用源如何，并且不管计算设备是否曾经产生该内容的音频(例如，可听声音信号)，该计算设备可以在视觉上提供可听内容的描述(例如，作为持久性用户界面元素)。以此方式，即使在音频数据不包括嵌入的字幕时，甚至在该设备不使用服务器用于加字幕时，并且甚至在该计算设备被静音并且不输出可听声音时，该计算设备也对系统级音频加字幕以描述内容的可听部分。

通过依赖于最初音频数据而不是作为对扬声器的输入而生成的音频信号，机器学习模型可以生成字幕，该字幕更准确地表示来自内容的声音，如内容源最初意图的。此外，通过在使用机器学习模型之前确定音频数据是否适合于加字幕，计算设备可以避免通过过度分析内容源正在输出的包括音频数据中几乎肯定不包含任何用于加字幕的内容的所有音频数据来浪费资源。这使得计算设备能够更有效地执行，因为可以使用更小和/或更不复杂的机器学习模型。例如，机器学习模型可以自动辨识语音并仅分析包括语音的音频数据。这样，机器学习模型可以从生成音频数据的计算设备在本地自动辨识语音并自动对声音进行分类，从而增强隐私性和离线便利性。因此，计算设备可以以至少可以增加用户对自动加字幕系统的满意度的方式来对系统级音频自动加字幕。有医疗需要的用户可以通过访问以此方式对音频数据自动加字幕的计算设备110来提高她们的生活质量。先前可能已无法收听或理解内容的可听部分的用户现在可以像其他任何没有医疗需要的用户一样享受内容。

贯穿本公开，描述了其中计算设备可以分析信息(例如，音频数据)的示例。然而，计算设备仅在计算设备从计算设备的用户接收到使用数据的明确许可之后才可以使用该信息。例如，在下面讨论的计算设备分析正从在计算设备处执行的应用输出的音频数据的情况下，可以为单独的用户提供用以提供输入以控制计算设备的程序或特征是否可以收集和和使用音频数据例如用于自动加字幕的机会。单独的用户可以持续控制哪些程序可以使用音频数据，哪些程序不可以使用音频数据。

此外，在由计算设备和/或远程计算系统传输、存储或以其他方式使用收集的信息之前，可以以一种或多种方式对收集的信息进行预处理，从而去除个人可识别信息。例如，在示例计算设备与另一设备共享从音频数据生成的字幕(例如，以训练在该另一设备处执行的模型)之前，示例计算设备可以预处理音频数据以确保嵌入在数据中的任何用户识别信息或设备识别信息被去除。因此，用户可以控制是否收集有关用户和用户设备的信息，以及如果收集了这些信息，计算设备和/或远程计算系统将如何使用这些信息。