[发明专利]一种基于文档内容分析的查重算法

权利要求书

1.一种基于文档内容分析的查重算法，其特征在于，该查重算法包括：

构建词库模型：从所提供基础文件中，提取技术领域术语及名称术语，形成术语词库；

构建分析模型：计算查询检索条件与数据库中各项数据之间的文本相似度，之后，依据用户输入或者选择的数据文本，计算该数据文本与数据库中各项历史数据之间的文本相似度；

查询检索：将查询检索条件和待检测文本转化为计算机可识别的数据，之后对该文本进行分词处理，并根据分词生成对应的词向量，最后依据词向量计算查询检索条件与科研项目数据之间的文本相似度；

检验：生成多组查询检索应用验证数据，并根据验证数据进行查询检索，最后根据查询检索结果计算查准率和查全率。

2.如权利要求1所述的一种基于文档内容分析的查重算法，其特征在于：所述构建词库模型包括以下步骤：

技术领域术语词库：根据所提供的基础文本，选择或确定领域的专业词汇与标准术语，并进行统一规范化处理；

近义词词库：对技术领域术语以及专用术语进行分析，参考所提供基础文本的项目名称以及专家经验，识别每个术语的近义词或者缩写词。

3.如权利要求1所述的一种基于文档内容分析的查重算法，其特征在于：所述构建词库模型后，参考术语相关标准规范，进行规范化处理方法研究，包括字段格式要求、字段记录要求和规范描述要求，从而指定统一的字段格式。

4.如权利要求1所述的一种基于文档内容分析的查重算法，其特征在于：在查询检索步骤中，所述分词处理依靠术语词库字典与逆向最大匹配算法，将用户输入的查询检索条件文本以及待检测文本切分，所述分词处理包括以下步骤：

(1)、借助技术领域术语词库、通用分词字典，将用户输入的检索条件文本以及科研项目数据文本切分为独立词语的集合；

(2)、借助技术领域术语词库，将文本分词集合中存在的近义词进行统一描述；

(3)、借助“通用停用词字典”，将文本分词集合中的助词、语气词、介词、副词等不具有特定含义的词语去除，形成规范的检索条件文本分词集合以及科研项目数据文本分词集合。

5.如权利要求1所述的一种基于文档内容分析的查重算法，其特征在于：所述词向量是借助基于深度学习的词向量模型，针对每项文本分词生成词向量，在此基础上，进一步生成科研项目数据的文本向量，以及查询条件的文本向量。

6.如权利要求1所述的一种基于文档内容分析的查重算法，其特征在于：在查询检索步骤中，所述文本相似度需要计算查询检索条件与待检测文本之间的语义相似度，并选择语义相似度大于规定阈值的文本数据，作为查询检索结果。

7.如权利要求6所述的一种基于文档内容分析的查重算法，其特征在于：所述文本相似度借助基于字符串匹配的相似度算法以及基于文本向量的相似度算法得到；

其中，所述基于字符串匹配的相似度算法是先对文本分词集合中的分词进行字符串匹配，之后进行文本相似分词数量统计，最后基于文本相似分词数量，计算数据文本相似度；

所述基于文本向量的相似度算法是依据各个分词在文本分词集合中的出现位置，将所有分词的词向量进行组合匹配，生成文本向量，之后借助基于余弦距离的语义相似度算法。