[发明专利]用于电力领域的基于知识图谱的文档查重方法

说明书

本发明公开了一种用于电力领域的基于知识图谱的文档查重方法，包括构建训练集；抽取文档中的实体构建实体共现图；对实体共现图进行概念检测；按照概念对句子进行分组，计算概念之间边的权重并构建概念交互图；对句子进行编码并合并编码后的向量；匹配与每个概念相关的两个文档之间的句子集并将局部匹配结果聚合为最终的匹配分数；根据匹配分数对文档进行查重判定。本发明先提出概念交互图，以概念交互图的形式表示文档；然后，通过一系列编码技术比较包含相同概念顶点的句子来匹配一对文档，并通过图卷积层汇总局部匹配结果，从而进行文档的匹配；因此本发明方法的可靠性高、准确性好且效率较高。

技术领域

本发明属于文字图像处理领域，具体涉及一种用于电力领域的基于知识图谱的文档查重方法。

背景技术

随着经济技术的发展和人们生活水平的提高，电力领域对于科技项目和科研经费的投入也越来越高。而随着科研项目的越来越多，电力系统对于科技项目的审计和审批流程也越来越严格。

目前，随着电力系统科技项目的快速增长，针对科技项目文档的审计和审批流程也越来越困难。目前，电力系统一般采用人工检测、人工审计和人工审批的方式，对电力系统的科技项目的文档进行审计和审批。但是，采用人工进行审计和审批的方式，明显存在可靠性不高和效率低下的问题。

随着自然语言处理技术的不断发展与应用，电力系统在科技项目申报文本相似性检测方面的研究工作己经取得了一定的积极成果，也为项目申报项目的查新与查重工作提供了重要的技术支持。然而，尽管目前的文本相似性检测方法在一定程度上改善了科技申报项目的查新与查重机制，但在其发展与应用过程中依旧存在一些问题，如科学技术名词难以有效识别、语义关联特征提取能力有限、半结构化文档的文本相似度计算效果不佳等。

发明内容

本发明的目的在于提供一种可靠性高、准确性好且效率较高的用于电力领域的基于知识图谱的文档查重方法。

本发明提供的这种用于电力领域的基于知识图谱的文档查重方法，包括如下步骤：

S1.构建训练集；

S2.抽取文档中的实体，从而构建实体共现图；

S3.对步骤S2构建的实体共现图进行概念检测；

S4.按照概念，对句子进行分组，计算概念之间边的权重，从而构建概念交互图；

S5.对句子进行编码，并合并编码后的向量；

S6.匹配与每个概念相关的两个文档之间的句子集，并将局部匹配结果聚合为最终的匹配分数；

S7.根据步骤S6得到的匹配分数，对两个文档进行查重判定。

步骤S1所述的构建训练集，具体为采用回译和人工修正的方式构建正样本集，并采用剔除低于设定阈值的样本从而构建负样本集。

所述的回译，具体为采用TextBolb方法进行回译。

所述的剔除，具体为采用TF-IDF法进行剔除。

步骤S2所述的抽取文档中的实体，从而构建实体共现图，具体为对于目标文档，首先基于电力知识领域图谱，通过TextRank方式，抽取目标文档的关键字；然后根据找到的关键字集合，构建关键字共现图(KeyGraph)，在关键字共现图中，每个关键字都是关键字共现图中的一个顶点，同时若两个关键字同时在同一个句子中，则将该两个关键字通过边进行连接；最后，通过执行共同引用解析和同义词分析，合并具有相同含义的关键字；最终得到实体共现图。