[发明专利]一种文本去重方法、装置、电子设备及存储介质

说明书

本发明公开了一种文本去重方法、装置、电子设备及存储介质，方法包括：确定待去重文本的标题中的代表性词；判断由已去重文本的标题构建的索引空间中的索引是否存在代表性词；若不存在，则确定待去重文本不是重复文本；若存在，则基于标题词性方式判定待去重文本是否为重复文本；在确定待去重文本不是重复文本时，以代表性词为索引，以标题和词性标注结果为键值添加到索引空间。通过获取文本的标题中最具有影响力的代表性词去重，可以进一步降低去重复杂度，提高去重效率，并且基于相似语义文本之间影响力最大的词相同的假设，当判断这个代表性词存在于由已去重文本的标题构建的索引空间中时，再基于标题词性方式进行去重，从而实现语义感知去重。

技术领域

本发明涉及文本处理技术领域，具体涉及一种文本去重方法、装置、电子设备及存储介质。

背景技术

目前，电子招标文本越来越普及，全网每天有约数百万的招标文本公布，企业从这些招标文本中可以获得大量潜在的商情信息。然而由于网络转载、抄袭等现象的存在，企业爬取到的大量招标文本存在重复的问题，将这些冗余的招标文本存入数据库中，对存储空间是一种浪费，同时也会降低下游数据处理任务的效率。因此招标文本的去重问题对于企业来说是一种挑战。

传统本文去重方法包括：1.雅可比相似系数去重法，即通过计算文本交集与文本并集之间的比值判断文本重复率，这种方法无法确定文本的语义，且每一条新文本需要与过去所有文本进行比较，所需处理时间随文本数量的增多呈线性增加，因此无法应用于大规模文本的去重任务中；2.Simhash去重法，该方法是谷歌提出的，其通过对文本进行哈希编码完成高效索引，通过汉明距离完成文本去重，然而simhash仅适用于英文，在中文情况下，需要对文本进行分词，获得特征词的权重，对于招标正文等长文本，分词会产生高昂的计算代价，而对于招标标题等短文本，由于包含特征词较少，simhash无法区分短文本之间的语义，从而在面对短文本时，存在大量误判或者漏判。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种文本去重方法、装置、电子设备及存储介质，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种文本去重方法，所述方法包括：

确定待去重文本的标题中的代表性词；

判断由已去重文本的标题构建的索引空间中的索引是否存在所述代表性词；

若不存在，则确定待去重文本不是重复文本；

若存在，则基于标题词性方式判定待去重文本是否为重复文本；

在确定待去重文本不是重复文本时，以所述代表性词为索引，以所述标题和所述标题的词性标注结果为键值添加到所述索引空间。

在本申请一些实施例中，确定待去重文本的标题中的代表性词，包括：

对所述标题进行分词，得到分词结果；确定分词结果中每一分词的词频-逆文档频率TF-IDF值；将最大TF-IDF值对应的分词确定为代表性词。

在本申请一些实施例中，确定分词结果中每一分词的词频-逆文本频率TF-IDF值，包括：

确定分词结果中每一分词的词频TF值；从预设词汇表中获取每一分词对应的逆文档频率IDF值；利用每一分词的TF值和IDF值确定该分词的TF-IDF值。

在本申请一些实施例中，基于标题词性方式判定待去重文本是否为重复文本，包括：

获取由索引空间中所述代表性词对应的键值表示的已有标题；比较已有标题与所述标题之间的不重复词；若存在不重复词，则根据不重复词的词性判定所述待去重文本是否为重复文本；若不存在不重复词，则确定所述待去重文本是重复文本。

在本申请一些实施例中，根据不重复词的词性判定所述待去重文本是否为重复文本，包括：