[发明专利]文章判重处理方法、装置及电子设备

权利要求书

1.一种文章判重处理方法，其特征在于，所述方法包括：

根据待发布文章的文章特征，确定所述待发布文章的相似文章；

对所述待发布文章进行分词处理，得到第一分词结果，以及对所述相似文章进行分词处理，得到第二分词结果；

根据所述第一分词结果进行目标处理，得到第一处理结果，以及根据所述第二分词结果进行目标处理，得到第二处理结果；其中，所述目标处理包括分词拼接处理和分词降权处理，其中，所述第一处理结果和所述第二处理结果中均携带词与词之间的顺序关系；

根据所述第一处理结果和所述第二处理结果，对所述待发布文章执行判重处理操作；

所述根据所述第一分词结果进行目标处理，得到第一处理结果，包括：

对所述第一分词结果进行分词拼接处理，得到第三处理结果；其中，所述第三处理结果中包括多个拼接分词，每一拼接分词由所述第一分词结果中连续的至少两个分词顺序拼接形成；

对所述第三处理结果进行分词降权处理，得到第一处理结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述第三处理结果进行分词降权处理，得到第一处理结果，包括：

从所述第三处理结果中确定第一拼接分词；其中，所述第三处理结果中还包括第二拼接分词，所述第一拼接分词在所述第三处理结果中的出现频次大于所述第二拼接分词；

确定所述第一拼接分词对应的出现频次，以及确定所述第二拼接分词对应的出现频次；其中，所述第一拼接分词对应的出现频次小于其在所述第三处理结果中的出现频次，所述第二分词对应的出现频次为其在所述第三处理结果中的出现频次；

获得第一处理结果；其中，所述第一处理结果中包括所述第一分词、所述第一分词对应的出现频次、所述第二分词，以及所述第二分词对应的出现频次。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一处理结果和所述第二处理结果，对所述待发布文章执行判重处理操作，包括：

确定所述第一处理结果对应的第一词向量，以及确定所述第二处理结果对应的第二词向量；

计算所述第一词向量与所述第二词向量的余弦距离；

根据所述余弦距离，对所述待发布文章执行判重处理操作。

4.根据权利要求1所述的方法，其特征在于，所述文章特征的数量为至少两种，每种所述文章特征对应的特征类型互异。

5.根据权利要求4所述的方法，其特征在于，至少两种所述文章特征包括以下至少两项：

文本特征类型、图片特征类型、视频特征类型。

6.根据权利要求1所述的方法，其特征在于，所述文章特征中包括第一特征数据；

所述根据待发布文章的文章特征，确定所述待发布文章的相似文章，包括：

确定所述文章特征的特征类型对应的特征库；

在所述特征库中，查找与所述第一特征数据匹配的第二特征数据；

根据所述第二特征数据，确定所述待发布文章的相似文章。

7.根据权利要求6所述的方法，其特征在于，所述文章特征中包括至少两种第一特征数据，每种所述第一特征数据采用不同算法得到。

8.根据权利要求7所述的方法，其特征在于，所述文章特征的特征类型为文本特征类型，所述文章特征中包括所述待发布文章的第一simhash值、第一关键词组，以及第一标题；所述特征库中存储有多个simhash值、多个关键词组，以及多个标题；

所述在所述特征库中，查找与所述第一特征数据匹配的第二特征数据，包括：

在所述特征库中，查找第二simhash值、第二关键词组，以及第二标题；其中，所述第二simhash值与所述第一simhash值的汉明距离小于第一预设距离，所述第二关键词组与所述第一关键词组的关键词重复率大于预设比例，所述第二标题与所述第一标题的相似度大于预设相似度。