[发明专利]用于校正字幕文本中的错误的系统和方法

说明书

描述了通过校正针对媒体资产的屏幕上字幕文本中的错误术语来解决常规系统中的缺点的系统和方法。在一些方面，系统和方法识别屏幕上字幕文本的文本片段中的错误术语，以及识别媒体资产的与该文本片段对应的一个或多个视频帧。该系统和方法还从所述一个或多个视频帧中识别与错误术语相关的上下文术语。通过访问知识图，该系统和方法基于上下文术语和文本片段的一部分来识别候选校正。最后，该系统和方法用候选校正替换错误术语。

背景技术

常规媒体系统可以将来自新闻节目的语音信息转换为副标题或隐藏字幕形式的屏幕上字幕文本。传统上，这个过程由人类速记员来处理。最近，媒体系统已经开始使用语音识别技术来解析语音信息并在与语音本身基本相同的时间将其显示为屏幕上字幕文本。但是，这些媒体系统受到它们的字典规模或人类速记员的知识的限制，并且常常无法识别某些艺术术语、新创建的流行语、外来名称或其它词和短语。使用自动语音识别(ASR)的媒体系统在处理同音词(听起来相似的词)时也处于不利地位。在新闻和体育节目中看到充满错误的屏幕上字幕文本并不罕见。在一些常规系统中，这些错误必须由经验丰富的人类速记员手动校正。但是，即使是人类速记员在打字时也可能不知道所有内容的正确词或拼写，并且可能容易造成排印错误。

发明内容

描述了通过自动校正媒体资产的音频转录的屏幕上字幕文本中的错误来解决常规媒体系统中的缺点的系统和方法。在一些实施例中，媒体指南应用通过基于从媒体资产本身导出的信息访问知识图来校正错误并从知识图中寻找错误的候选替换或校正。在一些实施例中，用于访问知识图的从媒体资产导出的信息可以是出现在围绕错误的媒体资产的一个或多个视频帧中的文本或图像，并且可以通过对视频帧执行文本或图像识别来识别，诸如通过使用光学字符识别(OCR)算法。用于访问知识图的信息也可以从屏幕上字幕文本本身的正确识别出的部分(诸如屏幕上字幕文本中的部分识别出的句子中的关键词)导出。在一些实施例中，媒体指南应用可以通过访问知识图来确定错误的一个或多个潜在校正，并基于它们与错误的语音相似性来对这些潜在校正加权，以便选择具有最高权重的候选校正。在一些实施例中，媒体指南应用还可以基于它们各自的时间戳来对它们加权，这指示潜在校正有多新。然后，媒体指南应用可以用候选校正来替换错误，并向观看者呈现无错的屏幕上字幕文本。

例如，对于下面的句子中出现在新闻广播上的屏幕上字幕文本，媒体指南应用可能会在转录某国国家主席NAME 1的名字时出错：“总统NAME 2与国家主席NAME 1之间的会面强调……”媒体指南应用的ASR系统可能无法识别名字“NAME 1”，而是将上述句子转录为“总统NAME 2与总统She-Jumping之间的会面强调……”。作为第一步，媒体指南应用可以将一个或多个自然语言处理(NLP)规则应用于转录的句子，并确定“She-Jumping”是错误术语，因为它不遵守一个或多个语法规则。为了校正错误术语，媒体指南应用可以从屏幕上字幕文本的正确识别出的部分中提取关键词(诸如“总统”)，并基于该术语访问知识图。媒体指南应用还可以对围绕错误术语的视频帧执行OCR，并从视频帧识别诸如“某国”和“国事访问”之类的上下文术语。除了从屏幕上字幕文本中提取的关键词之外，媒体指南应用还可以基于这些上下文术语来访问知识图。通过分析在知识图中与这些术语相关联的节点和特性，媒体指南应用可以识别与“总统”、“某国”和“国事访问”相关的许多潜在校正，诸如“NAME 1”和“NAME 3”。然后，媒体指南应用可以用“NAME 1”替换原始转录句中的“She-Jumping”，部分原因是两者在语音上相似。以下尤其是关于图1-4更详细地讨论本公开的这些和其它方面。