[发明专利]文本查重方法、装置、设备及存储介质

说明书

本发明涉及人工智能，公开一种文本查重方法、装置、设备及存储介质，该方法包括：获取待查重文本，从待查重文本中提取预设维度的初始数据；对初始数据进行预处理并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；基于预设查重语料库及重要程度依次对待查重数据进行相似度计算获取各待查重数据的相似度；根据相似度获取待查重文本的查重结果，由于是根据预设维度来提取初始数据，从而保证了数据维度的多样性；又因为是根据预设分类策略将处理后的数据划分为不同重要程度的待查重数据，然后根据预设查重语料库以及重要程度来依次计算待查重数据的相似度，从而使得文本查重具有较强的针对性，保证了查重结果的准确度以及查重效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种文本查重方法、装置、设备及存储介质。

背景技术

目前，为了避免政府财政专项资金扶持项目被重复多次申请而造成资金的浪费，提高资金的使用效率，需要对企业申报的财政专项资金扶持项目进行查重。当前不同的财政专项资金扶持计划项目归属不同部门管理，部门之间项目申报信息共享程度低，查重较为困难。同时，现有的查重方式主要的关注点又在于如何利用算法实现和提高文本的匹配相似度，在计算相似度时往往笼统的采用的项目标题、项目描述、申请人等信息进行匹配，数据维度太过单一，查重效果准确度欠佳。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种文本查重方法、装置、设备及存储介质，旨在解决现有技术在进行文本查重时，所使用的数据维度单一，查重效果准确度欠佳的技术问题。

为实现上述目的，本发明提供了一种文本查重方法，所述方法包括以下步骤：

获取待查重文本，从所述待查重文本中提取预设维度的初始数据；

对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据；

基于预设查重语料库以及所述重要程度依次对所述待查重数据进行相似度计算，获取各待查重数据的相似度；

根据所述相似度获取所述待查重文本的查重结果。

优选地，所述对所述初始数据进行预处理，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据的步骤，包括：

按预设数据类型对所述初始数据进行数据提取以获取待处理数据，所述预设数据类型包括文本类型、属性类型以及数值类型；

对所述待处理数据进行预处理以获取处理后的数据，并按预设分类策略将处理后的数据划分为不同重要程度的待查重数据。

优选地，所述待处理数据包括文本数据；

所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：

对所述文本数据进行分词以获取对应的词汇文本，去除所述词汇文本中包含的停用词，获得目标文本；

按所述目标文本的词汇序列将所述目标文本向量化，获取所述目标文本对应的数字向量，并将所述数字向量作为处理后的数据。

优选地，所述待处理数据还包括属性数据；

所述对所述待处理数据进行预处理以获取处理后的数据的步骤，包括：

提取所述属性数据中包含的属性词，在预先构建的属性词和属性标识之间的映射关系中查找所述属性词对应的目标属性标识；

根据所述目标属性标识对所述属性数据中对应的属性词进行替换，获取目标属性数据，并将所述目标属性数据作为处理后的数据。

优选地，所述待处理数据还包括数值数据；