[发明专利]词云音频导航

说明书

技术领域

本申请一般涉及媒体流内的导航领域，并且具体地涉及使用词云(word cloud)使媒体流可视化(visualize)并在其中进行导航的领域。

背景技术

在呈现视频、音频、播客、会议通话或包含音频的任何其它媒体文件时，在没有某种形式的索引的情况下可能难以对音频或其它媒体进行导航。有时这是通过沿着向读者提示特定音频部分的文本摘录(text extract)的偏移时间戳而手动地提供的。这些摘录和时间戳可由收听者用来在用于收听音频的媒体应用中向前和向后移动。在较长的会议通话、音频或其它媒体的情况中，找到感兴趣的部分可能是困难的。如果意图快速地找到并收听涉及某些话题的所有区域，则这可能变得极具挑战性。

一些解决方案允许对音频进行搜索。诸如Dragon Audio Mining^TM之类的产品允许语音到文本的转换以用于数据挖掘目的。诸如Wordle^TM之类的其它应用从文本流中产生词云。

一些解决方案包括对音频或媒体文件编索引并且向数据库提供偏移时间戳。存在将音频文件转换为文本的服务，并且一些服务也包括时间戳信息。客户仍然必须利用数据库来在数据内进行搜索，并且所产生的搜索通常仅反映了搜索项的出现，而未反映它们的相对重要性。更高级的搜索可以允许用户针对项进行搜索并且在提到这些项的视频中观看。其它方法提供了文本的摘录作为词树(word tree)，词树实质上是短语起始点的集合，其允许用户探索出现类似短语使用的文本。

然而，现有的解决方案未能提供与媒体一样的对文本和链接的有效可视化。作为示例，如果在关于多个厂商的产品的以小时计的会议中，参与者想看已讨论了哪些产品，则概要(summary)将对此进行标识并且使得该参与者能够容易地找到流中的地点。

发明内容

这些以及其它需求通过本发明的各个实施例和配置来解决。本发明一般涉及将单词和/或短语(例如词云)与视频和/或音频流中单词和/或短语被使用的位置相关联(例如，链接起来)，将单词和/或短语与通话历史(call history)中它们被使用的位置相关联，和/或这些方式的组合(例如，通话历史中的词云具有到音频和/或视频流中的相关联位置的链接)。

在第一实施例中，提供了一种方法，该方法包括以下步骤：

(a)由处理器接收音频和视频流中的至少一个；

(b)由处理器标识该流中所选单词和/或短语的出现；并且

由处理器将标识出的单词和/或短语链接到该流中的时间戳。

在第二实施例中，提供了一种具有计算机的设备，该计算机可操作来：

接收音频和视频流中的至少一个；

标识该流中所选单词和/或短语的出现；并且

将标识出的单词和/或短语链接到该流中的时间戳。

在第三实施例中，提供了一种方法，该方法包括以下步骤：

由处理器向用户提供词云，该词云包括被链接到音频和/或视频流中各个单词和/或短语出现的各个位置的多个单词和/或短语；

由处理器从用户接收所选单词和/或短语；并且

向用户提供如下(a)和(b)中的至少一者：(a)该流中所选单词和/或短语出现的位置的列表，(b)包含所选单词和/或短语的该流的一部分。如将理解的，词云或标签云通常是指例如由文本的大小和/或字体来示出频率的处理。通常，从词云中省略诸如“一个”(a，an)、“和”(and)、“但是”(but)、“也”(also)、“这”(this)、“这些”(these)和“该”(the)之类的词以及诸如介词、形容词和副词之类的其它常出现的词。

在一种配置中，上面的实施例将视频和/或音频文件(例如播客、会议等)的语音到文本(“STT”)处理与后续的与该文本中的单词相关联的时间戳的创建连接起来。通过创建能够由用户“点击”的词云，用户可被直接带到文件中单词或短语被提到的位置的列表。通过利用先前通过分析音频的文本版本而创建的时间戳索引，可向观看者呈现单词或短语被提到的地点的超级链接列表，从而允许直接访问所关注的音频或视频部分。

在一种配置中，提供了基于上下文的词语使用概要，以更准确地找到感兴趣区域。当用户点击或以其它方式选择了时间戳时，为了满足上下文适应，从起始位置附近来播放流的相关部分。