[发明专利]一种基于主题模型的文档血缘关系挖掘的方法及装置

权利要求书

1.一种基于主题模型的文档血缘关系挖掘的方法，其特征在于，包括：

对文档集中的文档内容进行模型训练，生成主题模型；

针对所述文档集中的目标文档，基于所述目标文档的关键词对所述文档集进行检索，得到候选文档列表，基于所述主题模型从所述候选文档列表中筛选出所述目标文档的候选文档，并将所述目标文档和所述候选文档加入第一文档血缘关系聚类集合中；其中，所述目标文档的文档内容与所述候选文档的文档内容之间的相似度大于第一预设阈值；

将目标候选文档从所述第一文档血缘关系聚类集合中删除，得到第二文档血缘关系聚类集合；其中，所述目标文档的文档标题与所述目标候选文档的文档标题之间的编辑距离不小于第二预设阈值；在计算编辑距离时不将文档标题进行分词，使得文档标题能够体现出历史版本的迭代；

将所述第二文档血缘关系聚类集合中的各文档确定为同血缘关系文档；

所述针对所述文档集中的目标文档，基于所述主题模型从所述文档集中筛选出所述目标文档的候选文档，并将所述目标文档和所述候选文档加入第一文档血缘关系聚类集合中，包括：

针对所述文档集中的目标文档，根据所述目标文档的文档内容提取所述目标文档的关键词；

基于所述目标文档的关键词对所述文档集进行检索，得到候选文档列表；

基于LDA主题模型，分别计算所述目标文档和所述候选文档列表中各文档对应的LDA向量；

将所述目标文档加入初始的第一文档血缘关系聚类集合中，若第一LDA向量与第二LDA向量之间的相似度大于第一预设阈值，则将所述第二LDA向量对应的候选文档加入所述第一文档血缘关系聚类集合中；其中，所述第一LDA向量为所述目标文档的文档内容对应的LDA向量，所述第二LDA向量为所述候选文档列表中候选文档的文档内容对应的LDA向量。

2.根据权利要求1所述的方法，其特征在于，所述对文档集中的文档内容进行模型训练，生成主题模型，包括：

获取ES索引中存储的文档集中所有文档的文档内容；

依据预设的主题个数和训练迭代次数，通过LDA算法对所述文档集中所有文档的文档内容进行模型训练，生成LDA主题模型。

3.根据权利要求1所述的方法，其特征在于，所述基于LDA主题模型，分别计算所述目标文档和所述候选文档列表中各文档对应的LDA向量，包括：

基于LDA主题模型，分别计算所述目标文档和所述候选文档列表中各文档的文档内容对应的LDA向量。

4.根据权利要求1所述的方法，其特征在于，所述基于LDA主题模型，分别计算所述目标文档和所述候选文档列表中各文档对应的LDA向量，包括：

分别对所述目标文档和所述候选文档列表中各文档的文档内容进行文档摘要生成；

基于LDA主题模型，分别计算所述目标文档和所述候选文档列表中各文档的文档摘要对应的LDA向量。

5.根据权利要求1所述的方法，其特征在于，所述相似度通过海灵格距离或JS散度计算得到。

6.根据权利要求1所述的方法，其特征在于，所述将所述第二文档血缘关系聚类集合中的各文档确定为同血缘关系文档，包括：

为所述第二文档血缘关系聚类集合中的所有文档标记相同的血缘关系标签，从而将所述第二文档血缘关系聚类集合中的各文档确定为同血缘关系文档。