[发明专利]利用实体链接和本体数据推断主题

说明书

公开了用于从包含音频和视频两者的文件(例如，多模态文件或多媒体文件)推断主题以便促进视频索引的系统和方法。一组实体从文件中被提取，并且被链接以生成图；以及还获取该一组实体的参考信息。例如，可以从Wikipedia类别或其他大型本体数据源中抽取实体。使用无监督学习对图进行分析准许确定图中的簇。可以使用有监督学习从簇中提取特征提供了对主题标识符的选择。然后，主题标识符被用于对文件进行索引。

背景技术

在包含音频和视频两者的多模态文件中搜索特定内容可能具有挑战性。搜索者可能需要观看视频通道的整个长度，以标识诸如重要人物的图像之类的某些对象的外观，并且可能还需要收听整个音轨以选出对某些重要主题的提及。即使多模态文件被标记为指示一些内容，该标签也不会指示多模态文件内可以找到该内容的位置(例如，视频通道和/或音轨内的时间索引)。附加地，如果在大型多模态文件库已经被标记之后，某个实体变得更加突出，则手动搜索整个库所需的工作可能令人望而却步。

发明内容

下文参考下文所列出的附图对所公开的示例进行详细描述。提供以下发明内容以说明本文中所公开的一些示例。然而，这并不意味着将所有示例限制为任何特定配置或操作顺序。

本文中所公开的一些方面和示例旨在通过以下各项从多模态文件推断主题：接收多模态文件，该多模态文件包括视频部分(视觉通道)和音频部分(音频通道)；从多模态文件中提取一组实体；链接该一组实体以产生一组经链接的实体；获得该一组实体的参考信息；至少基于参考信息来生成该一组经链接的实体的图，该图包括节点和边；至少基于图的节点和边来确定图中的簇；至少基于图中的簇来标识主题候选；从图中的簇中提取特征；至少基于所提取的特征来从主题候选中选择至少一个主题标识以表示至少一个簇；以及用至少一个主题标识对多模态文件进行索引。

附图说明

下文参考下文所列出的附图对所公开的示例进行详细描述：

图1图示了用于从多模态文件推断主题的示例性布置；

图2图示了图1的布置可以使用的示例性图；

图3是图示了可以与图2的布置一起使用的从多模态文件推断主题时所包括的示例性操作的流程图；

图4是图示了可以与图3的布置一起使用的从多模态文件推断主题时所包括的示例性操作的另一流程图；

图5是图示了适于实现本公开的各个方面的计算设备的操作环境的示例性框图；以及

图6是适合于实现本文中所公开的各个示例中的一些示例的示例云计算基础设施的框图。

在整个附图中，对应的附图标记指示对应的部分。

具体实施方式

参考附图对各个实施例进行详细描述。在所有附图中，只要可能，相同的附图标记将用于指代相同或相似的组件。仅出于说明性目的，提供了整个本公开中与具体示例和实现方式有关的参考，但是除非相反指出，否则并不意味着限制所有示例。

在包含音频和视频两者的多模态文件中搜索特定内容可能具有挑战性。搜索者可能需要观看视频通道的整个长度，以标识诸如重要人物的图像之类的某些对象的外观，并且可能还需要收听整个音轨以选取对某些重要主题的提及。即使多模态文件被标记以指示一些内容，该标签也可能不指示可以在多模态文件内找到该内容的位置(例如，视频通道和/或音轨内的时间索引)。附加地，如果在大型多模态文件库已经被标记之后，某个实体变得更加突出，则手动搜索整个库所需的工作可能令人望而却步。

公开了用于从包含音频和视频两者的文件(例如，多模态文件或多媒体文件)推断主题以便促进视频索引的系统和方法。一组实体从文件中被提取，并且被链接以生成图；以及还针对该一组实体的参考信息被获取。例如，可以从维基百科(Wikipedia)类别或其他大型本体数据源中抽取实体。使用无监督学习对图进行分析以准许确定图中的簇。可以使用有监督学习从簇中提取特征，提供了对主题标识符的选择。然后，主题标识符被用于对文件进行索引。