[发明专利]文本去重方法和装置、电子设备及计算机可读存储介质

说明书

本申请实施例提供的文本去重方法和装置、电子设备及计算机可读存储介质，涉及文本去重技术领域。在本申请实施例中，首先，对获取的各文本数据进行排序处理。其次，针对进行排序处理后的每个文本数据分别进行拆分处理，得到与每个文本数据分别对应的文本集合。然后，对相邻的文本集合进行相似度比较并进行去重处理。通过上述方法，可以提高文本去重的效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种文本去重方法和装置、电子设备及计算机可读存储介质。

背景技术

从微博、微信、论坛等社交媒体中抓取的信息往往包含大量的重复文本，例如转发、回复等操作都会产生大量的重复文本。每天社交媒体中会产生数以亿计的数据，大量的重复信息混杂其中，给数据分析与数据挖掘带来了巨大的挑战，快速高效地合并大量的重复文本在数据处理中显得尤为重要。

传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、海明距离或者余弦角度等等。也有很多方法利用局部敏感哈希方法，避免去重过程中的两两比较运算以提高效率，如Simhash算法。其中，Simhash算法基于文档中包含的词汇生成文档的特征向量，而后通过局部敏感哈希方法将一篇文档转换成一个64位的哈希值，最后通过比较哈希值来进行文本去重。

但是，经发明人研究发现，在现有技术中，文本去重的计算步骤复杂，需要较大的计算量且计算时间长，从而存在着文本去重的效率低的问题。

发明内容

有鉴于此，本申请的目的在于提供一种文本去重方法和装置、电子设备及计算机可读存储介质，以改善现有技术中存在的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种文本去重方法，包括：

对获取的各文本数据进行排序处理；

针对进行排序处理后的每个文本数据分别进行拆分处理，得到与每个文本数据分别对应的文本集合；

对相邻的文本集合进行相似度比较并进行去重处理。

在本申请实施例较佳的选择中，所述对相邻的文本集合进行相似度比较并进行去重处理的步骤，包括：

针对每一个文本集合，计算该文本集合与相邻文本集合的相似度；

根据该文本集合与相邻文本集合的相似度进行去重处理。

在本申请实施例较佳的选择中，所述根据该文本集合与相邻文本集合的相似度进行去重处理的步骤，包括：

判断该文本集合与相邻文本集合的相似度是否大于相似度阈值；

若该文本集合与相邻文本集合的相似度大于相似度阈值，则去除该文本集合。

在本申请实施例较佳的选择中，所述文本去重方法还包括：

若该文本集合与相邻文本集合的相似度小于相似度阈值，则保留该文本集合与相邻文本集合。

在本申请实施例较佳的选择中，所述针对进行排序处理后的每个文本数据分别进行拆分处理，得到与每个文本数据分别对应的文本集合的步骤，包括：

针对进行排序处理后的每一个文本数据，对该文本数据包括的字符进行拆分处理，得到与该文本数据对应的、包括至少一个字符的文本集合。

在本申请实施例较佳的选择中，所述对获取的各文本数据进行排序处理的步骤，包括：

获取各文本数据的各排序字符；

按照预设规则对获取的各排序字符进行排序处理，得到各排序字符的顺序表，根据所述顺序表对各排序字符对应的各文本数据进行排序处理。