[发明专利]利用实体链接和本体数据推断主题

权利要求书

1.一种从多模态文件推断主题的方法，所述方法包括：

接收多模态文件；

从所述多模态文件中提取一组实体；

链接所述一组实体以产生一组经链接的实体；

获取针对所述一组实体的参考信息；

至少基于所述参考信息来生成所述一组经链接的实体的图，所述图包括节点和边；

至少基于所述图的所述节点和所述边来确定所述图中的簇；

至少基于所述图中的所述簇来标识主题候选；

从所述图中的所述簇中提取特征；

至少基于所提取的所述特征，从所述主题候选中选择至少一个主题标识以表示至少一个簇；以及

用所述至少一个主题标识对所述多模态文件进行索引。

2.根据权利要求1所述的方法，其中所述多模态文件包括视频部分和音频部分，并且其中从所述多模态文件中提取一组实体包括：

检测所述多模态文件的所述视频部分中的对象；以及

检测所述多模态文件的所述音频部分中的文本。

3.根据权利要求2所述的方法，其中检测对象包括：执行面部识别。

4.根据权利要求2所述的方法，其中检测文本包括：执行语音到文本过程。

5.根据权利要求4所述的方法，还包括：

标识所述多模态文件的所述音频部分中使用的语言，以及

其中执行语音到文本过程包括：执行所标识的所述语言的语音到文本过程。

6.根据权利要求4所述的方法，还包括：

翻译所检测到的所述文本。

7.根据权利要求1所述的方法，还包括：

确定所确定的所述簇中的显著簇和非显著簇，以及

其中从所述图中的所述簇中提取特征包括：从所述图中的所述显著簇中提取特征。

8.根据权利要求1所述的方法，其中从所述图中的所述簇中提取特征包括选自由以下项组成的列表的至少一个过程：

确定图直径和确定Jaccard系数。

9.根据权利要求1所述的方法，其中选择至少一个主题标识以表示至少一个簇包括：

至少基于所提取的所述特征来将主题候选映射到概率区间；以及

至少基于所述映射来对所述至少一个簇内的主题候选进行排名，以及

至少基于所述排名来选择所述至少一个主题标识。

10.根据权利要求1所述的方法，还包括：

翻译所述至少一个主题标识，以及

其中用所述至少一个主题标识来对所述多模态文件进行索引包括：用至少一个经翻译的所述主题标识来对所述多模态文件进行索引。

11.一种用于从多模态文件推断主题的系统，所述系统包括：

实体提取组件，包括对象检测组件和语音到文本组件，所述实体提取组件操作以从包括视频部分和音频部分的多模态文件中提取一组实体；

实体链接组件，操作以链接所提取的所述一组实体以产生一组经链接的实体；

信息取回组件，操作以获取针对所提取的所述一组实体的参考信息；

绘图和分析组件，操作以：

生成所述一组经链接的实体的图，所述图包括节点和边；

至少基于所述图的所述节点和所述边来确定所述图中的簇；

至少基于所述图中的所述簇来标识主题候选；以及

从所述图中的所述簇中提取特征；

主题标识选择组件，操作以：

对至少一个簇内的所述主题候选进行排名；以及

至少基于所述排名来从所述主题候选中选择至少一个主题标识以表示至少一个簇；以及

视频索引器，操作以用所述至少一个主题标识对所述多模态文件进行索引。

12.根据权利要求11所述的系统，其中所述对象检测组件操作以执行面部识别。