[发明专利]一种文本去重方法和装置

权利要求书

1.一种文本去重方法，其特征在于，包括：

获取文本集合，所述文本集合包括多个待去重文本；

针对每个待去重文本，从待去重文本中截取相应的子文本串，得到每个待去重文本对应的文本串集合；

针对每个待去重文本，建立待去重文本与其文本串集合内子文本串的倒排索引；

基于所述倒排索引从所述文本集合中确定具有相同子文本串的待去重文本，得到每种子文本串对应的子文本集合；

分别对每种子文本串对应的子文本集合进行文本去重处理，得到每种子文本串对应的去重后文本集合；

根据每种子文本串对应的去重后文本集合，获取所述文本集合去重后的结果文本集合。

2.如权利要求1所述的文本去重方法，其特征在于，针对每个待去重文本，建立待去重文本与其文本串集合内子文本串的倒排索引，包括：

针对每个待去重文本，将待去重文本对应的文本串集合内子文本串作为索引关键词，并将该待去重文本作为所述索引关键词对应的索引对象；

将所述索引关键词及其对应的索引对象组成相应的索引对，以得到待去重文本与其文本串集合内子文本串的倒排索引；

基于所述倒排索引从所述文本集合中确定具有相同子文本串的待去重文本，得到每种子文本串对应的子文本集合，包括：

从索引对中确定同一索引关键词下的索引对象，得到每种索引关键词下的对象集合，进而得到每种子文本串对应的子文本集合。

3.如权利要求1所述的文本去重方法，其特征在于，分别对每种子文本串对应的子文本集合进行文本去重处理，包括：

针对每种子文本串，从该种子文本串对应的子文本集合中选取一个待去重文本作为种子文本，并将种子文本添加到空的去重结果集合中；

遍历子文本集合中的待去重文本，并确定当遍历到的待去重文本、与去重结果集合中的文本是否为相似文本；

若否，则将当前遍历到的待去重文本添加至所述去重结果集合中，并遍历所述子文本集合中下一个待去重文本；

若是，则遍历所述子文本集合中下一个待去重文本；

当遍历完子文本集合内所有文本时，将所述去重结果集合作为该种子文本串对应的去重后文本集合。

4.如权利要求3所述的文本去重方法，其特征在于，确定当遍历到的待去重文本与去重结果集合中的文本是否为相似文本，包括：

获取当前遍历到的待去重文本与所述去重结果集合中文本之间的相似度参数；

根据所述相似度参数确定当遍历到的待去重文本与去重结果集合中的文本是否为相似文本。

5.如权利要求4所述的文本去重方法，其特征在于，获取当前遍历到的待去重文本与去重结果集合中文本之间的相似度参数，包括：

分别对当前遍历到的待去重文本、以及去重结果集合中文本进行分词组处理，得到当前遍历到的待去重文本对应的第一词组集合、以及去重结果集合中文本对应的第二词组集合；

根据所述第一词组集合和所述第二词组集合，获取当前遍历到的待去重文本以及去重结果集合中文本之间的文本相似度。

6.如权利要求1所述的文本去重方法，其特征在于，分别对每种子文本串对应的子文本集合进行文本去重处理，得到每种子文本串对应的去重后文本集合，包括：

分别将每种子文本串对应的子文本集合发送至相应的设备，以便所述设备对相应子文本串的子文本集合进行文本去重处理；

接收设备返回的相应子文本串的去重后文本集合，得到每种子文本串对应的去重后文本集合。

7.如权利要求1-6任一项所述的文本去重方法，其特征在于，针对每个待去重文本，从待去重文本中截取相应的子文本串，包括：

获取子文本串的截取长度；

针对每个待去重文本，根据所述截取长度从待去重文本中滑动截取若干子文本串。