[发明专利]文本的去重方法、装置、电子设备、及计算机程序产品

权利要求书

1.一种文本的去重方法，其特征在于，包括：

分别对若干待去重文本的关键词进行映射，得到若干所述待去重文本的关键词向量序列；

基于若干所述待去重文本的关键词向量序列，利用旋转扭词距离下界算法筛选出若干符合第一预设条件的待去重文本；

基于若干所述符合第一预设条件的待去重文本的关键词向量序列，利用旋转扭词距离算法得到若干所述符合第一预设条件的待去重文本之间的相似度，根据相似度的高低实现若干所述符合第一预设条件的待去重文本的重合去重。

2.根据权利要求1所述的文本的去重方法，其特征在于，所述基于若干所述待去重文本的关键词向量序列，利用旋转扭词距离下界算法筛选出若干符合第一预设条件的待去重文本，包括：

基于若干所述待去重文本的关键词向量序列，利用所述旋转扭词距离下界算法得到若干所述待去重文本之间的扭词编辑距离下界；

将所述扭词编辑距离下界与所述第一预设条件进行比对，筛选出若干所述符合第一预设条件的待去重文本。

3.根据权利要求2所述的文本的去重方法，其特征在于，所述基于若干所述待去重文本的关键词向量序列，利用所述旋转扭词距离下界算法得到若干所述待去重文本之间的扭词编辑距离下界，具体为：

结合若干所述待去重文本的关键词向量序列和若干所述待去重文本的关键词向量序列的模长，通过所述旋转扭词距离下界算法利用下界表达式得到所述扭词编辑距离下界。

4.根据权利要求3所述的文本的去重方法，其特征在于，所述下界表达式结合推词机距离算法和旋转扭词距离算法推导得到，所述下界表达式为：

其中，w_i表示第i个待去重文本的关键词向量序列，w’_j表示第j个待去重文本的关键词向量序列，γ_ij表示扭词编辑距离下界，Z表示w_i的归一化模长，Z’表示w’_j的归一化模长。

5.根据权利要求1-4任一项所述的文本的去重方法，其特征在于，所述基于若干所述符合第一预设条件的待去重文本的关键词向量序列，利用旋转扭词距离算法得到若干所述符合第一预设条件的待去重文本之间的相似度，根据相似度的高低实现若干所述符合第一预设条件的待去重文本的重合去重，包括：

基于若干所述符合第一预设条件的待去重文本的关键词向量序列，通过旋转扭词距离算法得到若干所述符合第一预设条件的待去重文本之间的扭词编辑距离，根据所述扭词编辑距离得到若干所述符合第一预设条件的待去重文本之间的相似度；

将若干所述符合第一预设条件的待去重文本按照相似度高低排列成倒三角形式，继而实现若干所述符合第一预设条件的待去重文本的重合去重。

6.根据权利要求1-4任一项所述的文本的去重方法，其特征在于，所述分别对若干待去重文本的关键词进行映射，得到若干所述待去重文本的关键词向量序列，具体通过局部敏感哈希算法将若干所述待去重文本的关键词映射成所述待去重文本的关键词向量序列。

7.根据权利要求1-4任一项所述的文本的去重方法，其特征在于，所述文本的去重方法还包括：利用词频-逆文本频率指数算法对若干所述待去重文本提取关键词。

8.一种文本的去重装置，其特征在于，包括：

关键词映射模块，用于分别对若干待去重文本的关键词进行映射，得到若干所述待去重文本的关键词向量序列；

待去重文本筛选模块，用于基于若干所述待去重文本的关键词向量序列，利用旋转扭词距离下界算法筛选出若干符合第一预设条件的待去重文本；

待去重文本重合去重模块，用于基于若干所述符合第一预设条件的待去重文本的关键词向量序列，利用旋转扭词距离算法得到若干所述符合第一预设条件的待去重文本之间的相似度，根据相似度的高低实现若干所述符合第一预设条件的待去重文本的重合去重。