[发明专利]文本的去重方法、装置、电子设备、及计算机程序产品

说明书

本申请提供文本的去重方法、装置、设备、及程序产品，涉及大数据处理技术领域。所述文本的去重方法包括：分别对若干待去重文本的关键词进行映射，得到若干待去重文本的关键词向量序列；基于待去重文本的关键词向量序列，利用旋转扭词距离下界算法筛选若干符合第一预设条件的待去重文本；基于符合第一预设条件的待去重文本的关键词向量序列，利用旋转扭词距离算法得到若干符合第一预设条件的待去重文本之间的相似度，根据相似度的高低实现符合第一预设条件的待去重文本的重合去重。本申请提供的文本的去重方法，结合粗略筛选和精确查重，可以先筛选出明显不相似的待去重文本，从源头降低处理成本，为后续步骤降低技术难度，有效提高去重效率。

技术领域

本申请涉及大数据处理技术领域，具体涉及文本的去重方法、装置、电子设备、及计算机程序产品。

背景技术

随着互联网技术的快速发展，信息传播的速度和广度飞速上升和扩大，这也使得收集信息时收集到重复信息的概率大大增大。为了去除重复信息必须对收集到的文本信息进行去重处理。

现有的文本去重处理技术一般会通过自然语言处理模型将待去重文本进行逐字逐句的比较，从而得到精准的比较结果，再根据比较结果将相似度高的待去重文本进行重合去重，但是当待去重文本的数量比较大时，该方法需要增加多条处理线程和相应的硬件资源，使得成本增加，同时还会耗费更多的时间，导致去重效率极低。

发明内容

本申请实施例提供一种文本的去重方法，用以解决当待去重文本的数量比较大时，现有技术需要增加多条处理线程和相应的硬件资源进行去重处理，使得成本增加，同时还会耗费更多的时间，导致去重效率极低的技术问题。

第一方面，本申请实施例提供一种文本的去重方法，包括：

分别对若干待去重文本的关键词进行映射，得到若干所述待去重文本的关键词向量序列；

基于若干所述待去重文本的关键词向量序列，利用旋转扭词距离下界算法筛选出若干符合第一预设条件的待去重文本；

基于若干所述符合第一预设条件的待去重文本的关键词向量序列，利用旋转扭词距离算法得到若干所述符合第一预设条件的待去重文本之间的相似度，根据相似度的高低实现若干所述符合第一预设条件的待去重文本的重合去重。

在一个实施例中，所述基于若干所述待去重文本的关键词向量序列，利用旋转扭词距离下界算法筛选出若干符合第一预设条件的待去重文本，包括：

基于若干所述待去重文本的关键词向量序列，利用所述旋转扭词距离下界算法得到若干所述待去重文本之间的扭词编辑距离下界；

将所述扭词编辑距离下界与所述第一预设条件进行比对，筛选出若干所述符合第一预设条件的待去重文本。

在一个实施例中，所述基于若干所述待去重文本的关键词向量序列，利用所述旋转扭词距离下界算法得到若干所述待去重文本之间的扭词编辑距离下界，具体为：

结合若干所述待去重文本的关键词向量序列和若干所述待去重文本的关键词向量序列的模长，通过所述旋转扭词距离下界算法利用下界表达式得到所述扭词编辑距离下界。

在一个实施例中，所述下界表达式结合推词机距离算法和旋转扭词距离算法推导得到，所述下界表达式为：

其中，w_i表示第i个待去重文本的关键词向量序列，w’_j表示第j个待去重文本的关键词向量序列，γ_ij表示扭词编辑距离下界，Z表示w_i的归一化模长，Z’表示w’_j的归一化模长。