[发明专利]确定文档语料库的潜在主题的方法、系统和计算机可读介质

说明书

公开了确定文档语料库的潜在主题的方法、系统和计算机可读介质。利用领域知识是用于通过主题模型来提高推理出的文档的低维表示的质量的有效策略。本文中提供了在用于提取较相干的主题的主题建模的上下文中使用知识图(KG)嵌入的贝叶斯非参数模型的实施例；该模型的实施例可以被称为带有知识图嵌入的主题建模(TMKGE)。TMKGE实施例是从KG灵活借用信息以提高主题的可解译性的基于分层狄里克雷过程(HDP)的模型。并且，针对TMKGE模型开发了基于HDP的断棍构造的新颖、有效的在线变分推理方法的实施例，从而使TMKGE适用于大型文档语料库和KG。对数据集的实验说明了TMKGE相比现有技术的主题建模方法在主题相干性和文档分类准确性方面具有优良性能。

技术领域

本公开总的来说涉及用于可以提供改进的计算机性能、特征和使 用的计算机学习的系统和方法。更具体地说，本公开涉及实现高计算 强度和快速推理的高效神经网络体系结构的实施例。

背景技术

例如概率潜在语义分析(PLSA)和潜在狄里克雷分配(LDA)等主 题模型可以对帮助机器解译文本文档起重要作用。主题模型将文档视为 词语袋。给定词语信息，主题模型试图将文档看作潜在主题的混合，其中 这些主题经由在词语上的分布而生成。贝叶斯方法已经用于从文本语料 库的文档词语频率表示来提取主题结构。然而，在没有监管的情况下，已 经发现从这些模型生成的主题通常并不是可解译的。在当前研究中，将不 同形式的知识合并为监管已经成为用于发现有意义的主题的强有力的策 略。

最常规的做法是将先验领域知识纳入考量以提高主题相干性。一种 常用领域知识基于词语相关性。例如，由领域专家生成词语之间的“必须 链接(must-link)”和“无法链接(cannot-link)”以帮助主题建模。用于 主题发现的另一有用形式的知识基于词语语义。具体地说，词语嵌入用作 语义规则性以增强主题模型，其中在词语嵌入中，词语袋变换为向量表示， 以使得上下文嵌入到那些词语向量中。

知识图(KG)嵌入学习实体和关系的低维连续向量空间，以保留KG 的固有结构。一些所提议的KGE-LDA将KG的嵌入并入到主题模型中 以提取文档的更好的主题表示，并表现出一些不俗性能。然而，KGE-LDA 迫使词语和实体具有相同的潜在表示，这特别在仅部分KG可用的情形 下是阻碍主题模型恢复数据的正确的基础潜在结构的相当限制性的假设。

因此，需要用于主题建模的改进的系统和方法。

发明内容

本公开旨在提供用于主题建模的改进的系统和方法。

根据一个方面，公开了一种用于确定文档语料库的潜在主题的计算 机实施方法，所述方法包括：给定其中每一文档都包括词语和实体的文档 语料库：使用从知识图获得的实体嵌入来表示所述文档语料库中的实体； 以及针对所述文档语料库中的每一文档，生成所述文档中的词语的词语 频率表示；以及将所述实体嵌入和所述词语频率表示用作主题模型的输 入以生成所述文档语料库的潜在主题，所述主题模型包括：语料库级狄里 克雷过程，其使用所述词语频率表示和所述实体嵌入以获得共享的基本 测度，所述共享的基本测度用作两个文档级狄里克雷过程的先验；第一文 档级狄里克雷过程，其将所述共享的基本测度用作先验以生成词语的潜 在主题分布；第二文档级狄里克雷过程，其将所述共享的基本测度用作先 验以生成实体嵌入的潜在主题分布；词语生成过程，其使用所述词语的潜在主题分布以及将潜在主题指派给词语的词语级狄里克雷过程；以及使 用实体混合的主题分布以及将潜在主题指派给实体嵌入的分布。