[发明专利]一种基于语义相似性分析的技术文件相似性排查方法

说明书

本发明提出的一种基于语义相似性分析的技术文件相似性排查方法，从待分析的两份文件中各抽取一个关键词形成词语组合，结合罗列出的所有词语组合的相似度计算待分析的两份文件相似性评估值；词语组合的相似度为其包含的两个关键词之间的相似度。本发明提出的一种基于语义相似性分析的技术文件相似性排查方法，在计算待分析的两份文件之间的文本相似度时，根据关键词组合进行分析，使得相似度的计算更加清晰明确。

技术领域

本发明涉及文本处理技术领域，尤其涉及一种基于语义相似性分析的技术文件相似性排查方法。

背景技术

语义相似性是智能信息处理领域中的一项核心技术，可应用于查询扩展、词义消歧、问答系统和信息检索等。评估语义相似性也是众多研究领域的一项重要任务，如心理学、认知科学、人工智能等。

目前用于判断文本相似性的方法主要有余弦相似度、SimHash算法以及隐性语义标引法(LSI)等。

但是，具体实现过程中发现：1、余弦相似度算法多应用于网页标题合并和标题聚类中，计算结果准确，但是该算法只考虑了词在上下文中的统计特性，假定关键词之间线性无关，而没有考虑词本身的语义信息，不能很好地解决文本中存在的自然语言问题，如同义词和多义词，因此具有一定的局限性。2、 SimHash方法处理速率快，对海量文本相似判定非常适合；但是由于短文本的用于哈希计算的数据源较少，因此短文本相似度识别率低。3、隐性语义标引法比原来基于原文本向量的相似度计算更可靠，但是对于海量的文本数据，奇异值分解计算困难，且过于稀疏的语料不能很好的体现其潜在的语义。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于语义相似性分析的技术文件相似性排查方法。

本发明提出的一种基于语义相似性分析的技术文件相似性排查方法，其特征在于，从待分析的两份文件中各抽取一个关键词形成词语组合，结合罗列出的所有词语组合的相似度计算待分析的两份文件相似性评估值；

词语组合的相似度为其包含的两个关键词之间的相似度。

优选的，步骤S2中，文件相似性计算模型为：

其中，为文件A中关键词Ai与与文件B中关键词Bj之间的相似度；1≤i≤n，n为文件A中提取的关键词的数量；1≤j≤m，m 为文件B中提取的关键词的数量。

优选的，包括以下步骤：

S1、分别对待分析的两份文件提取关键词，并罗列词语组合；

S2、计算每一个词语组合的相似度，并代入预设的文件相似性计算模型进行计算，获得待分析的两份文件相似性评估值。

优选的，步骤S1具体为，确定待分析的两份文件所述技术领域，并根据技术领域选择关键词提取算法。

优选的，步骤S1中，根据文件名称或者摘要筛选技术领域。

优选的，确定待分析的两份文件所述技术领域的方法，具体包括以下步骤：

S11、根据文件名称分别获得待分析的两份文件的备选技术领域；

S12、判断待分析的两份文件的备选技术领域是否有重合；否，则执行步骤S14；

S13、是，则判断重合的备选技术领域是否多于一个；否，则将重合的备选技术领域作为最终筛选的技术领域；

S14、多于一个，则根据文件摘要分别获得待分析的两份文件的精选技术领域；

S15、获得重合的精选技术领域作为最终筛选的技术领域。

优选的，根据预先设置的关键词提取算法对待分析的两份文件提取关键词。

优选的，对待分析的两份文件提取关键词时采用相同的关键词提取算法。