[发明专利]文本去重方法和装置、电子设备及计算机可读存储介质

权利要求书

1.一种文本去重方法，其特征在于，包括：

对获取的各文本数据进行排序处理；

针对进行排序处理后的每个文本数据分别进行拆分处理，得到与每个文本数据分别对应的文本集合；

对相邻的文本集合进行相似度比较并进行去重处理。

2.如权利要求1所述的文本去重方法，其特征在于，所述对相邻的文本集合进行相似度比较并进行去重处理的步骤，包括：

针对每一个文本集合，计算该文本集合与相邻文本集合的相似度；

根据该文本集合与相邻文本集合的相似度进行去重处理。

3.如权利要求2所述的文本去重方法，其特征在于，所述根据该文本集合与相邻文本集合的相似度进行去重处理的步骤，包括：

判断该文本集合与相邻文本集合的相似度是否大于相似度阈值；

若该文本集合与相邻文本集合的相似度大于相似度阈值，则去除该文本集合。

4.如权利要求3所述的文本去重方法，其特征在于，所述方法还包括：

若该文本集合与相邻文本集合的相似度小于相似度阈值，则保留该文本集合与相邻文本集合。

5.如权利要求1所述的文本去重方法，其特征在于，所述针对进行排序处理后的每个文本数据分别进行拆分处理，得到与每个文本数据分别对应的文本集合的步骤，包括：

针对进行排序处理后的每一个文本数据，对该文本数据包括的字符进行拆分处理，得到与该文本数据对应的、包括至少一个字符的文本集合。

6.如权利要求1所述的文本去重方法，其特征在于，所述对获取的各文本数据进行排序处理的步骤，包括：

获取各文本数据的各排序字符；

按照预设规则对获取的各排序字符进行排序处理，得到各排序字符的顺序表，根据所述顺序表对各排序字符对应的各文本数据进行排序处理。

7.如权利要求1所述的文本去重方法，所述方法还包括获取各文本数据的步骤，该步骤包括：

获取待处理的多个原始数据；

对所述多个原始数据进行数据清洗处理，得到对应的多个文本数据。

8.一种文本去重装置，其特征在于，包括：

排序处理模块，用于对获取的各文本数据进行排序处理；

拆分处理模块，用于针对进行排序处理后的每个文本数据分别进行拆分处理，得到与每个文本数据分别对应的文本集合；

去重处理模块，用于对相邻的文本集合进行相似度比较并进行去重处理。

9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的可执行的计算机程序，以实现权利要求1-7任意一项所述的文本去重方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被执行时实现权利要求1-7任意一项所述文本去重方法的步骤。