[发明专利]确定文档语料库的潜在主题的方法、系统和计算机可读介质

权利要求书

1.一种用于确定文档语料库的潜在主题的计算机实施方法，所述方法包括：

给定其中每一文档都包括词语和实体的文档语料库：

使用从知识图获得的实体嵌入来表示所述文档语料库中的实体；以及

针对所述文档语料库中的每一文档，生成所述文档中的词语的词语频率表示；以及

将所述实体嵌入和所述词语频率表示用作主题模型的输入以生成所述文档语料库的潜在主题，所述主题模型包括：

语料库级狄里克雷过程，其使用所述词语频率表示和所述实体嵌入以获得共享的基本测度，所述共享的基本测度用作两个文档级狄里克雷过程的先验；

第一文档级狄里克雷过程，其将所述共享的基本测度用作先验以生成词语的潜在主题分布；

第二文档级狄里克雷过程，其将所述共享的基本测度用作先验以生成实体嵌入的潜在主题分布；

词语生成过程，其使用所述词语的潜在主题分布以及将潜在主题指派给词语的词语级狄里克雷过程；以及

使用实体混合的主题分布以及将潜在主题指派给实体嵌入的分布。

2.根据权利要求1所述的计算机实施方法，其中所述语料库级狄里克雷过程的每一原子对应于用于词语与实体两者的一组参数。

3.根据权利要求1所述的计算机实施方法，其中所述主题模型的模型参数是使用在线变分推理方法学习得到的。

4.根据权利要求3所述的计算机实施方法，其中使用在线变分推理方法学习所述主题模型的所述模型参数的步骤包括：

初始化所述主题模型的语料库级变分参数；以及

迭代地执行以下步骤，直到已经满足停止条件为止：

从所述文档语料库对文档随机采样；

更新所述主题模型的文档级变分参数；以及

更新语料库级参数。

5.根据权利要求4所述的计算机实施方法，其中更新所述主题模型的文档级变分参数以及更新语料库级参数的步骤包括以下步骤：

更新所述主题模型的词语相关变分参数；

更新所述主题模型的实体相关变分参数；

使用词语相关变分参数和实体相关变分参数来计算自然梯度；

更新学习速率参数；以及

使用所述自然梯度和所述学习速率参数来更新所述主题模型的语料库级参数。

6.根据权利要求5所述的计算机实施方法，其中，使用来自一批文档的词语相关变分参数和实体相关变分参数来计算所述主题模型的所述自然梯度以提高所述在线变分推理方法的稳定性。

7.根据权利要求1所述的计算机实施方法，还包括以下步骤：

给定一组主题模型参数，使用所述主题模型来生成文档的词语。

8.一种非暂时性计算机可读介质，包括一个或更多个指令序列，所述指令序列在由至少一个处理器执行时使得执行包括以下各者的步骤：

给定其中每一文档都包括词语和实体的文档语料库：

使用从知识图获得的实体嵌入来表示所述文档语料库中的实体；以及

针对所述文档语料库中的每一文档，生成所述文档中的词语的词语频率表示；以及

将所述实体嵌入和所述词语频率表示用作主题模型的输入以生成所述文档语料库的潜在主题，所述主题模型包括：

语料库级狄里克雷过程，其使用所述词语频率表示和所述实体嵌入以获得共享的基本测度，所述共享的基本测度用作两个文档级狄里克雷过程的先验；

第一文档级狄里克雷过程，其将所述共享的基本测度用作先验以生成词语的潜在主题分布；

第二文档级狄里克雷过程，其将所述共享的基本测度用作先验以生成实体嵌入的潜在主题分布；

词语生成过程，其使用所述词语的潜在主题分布以及将潜在主题指派给词语的词语级狄里克雷过程；以及

使用实体混合的主题分布以及将潜在主题指派给实体嵌入的分布。

9.根据权利要求8所述的非暂时性计算机可读介质，其中所述语料库级狄里克雷过程的每一原子对应于用于词语与实体两者的一组参数。