[发明专利]一种原创文档判断方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种原创文档判断方法、装置、电子设备及存储介质，方法包括：接收待处理文档，采用simhash算法计算待处理文档的simhash签名；从预设原创文档库中获取第一原创文档的simhash签名，计算待处理文档与第一原创文档的相似度，在待处理文档与第一原创文档的相似度大于第一预设阈值时，获取第一原创文档，与待处理文档全文对比；获取待处理文档中与第一原创文档的相同内容，计算相同内容在第一原创文档中所占比例；在相同内容在第一原创文档中所占比例大于或等于第二预设阈值时，将待处理文档标记为非原创文档，在相同内容在第一原创文档中所占比例小于第二预设阈值时，将待处理文档标记为原创文档。本发明实施例可以提高原创文档确定的准确性。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种原创文档判断方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，使得信息的传播更加方便、快捷。在互联网上，经常会出现各种好的文档，当用户看到好的文档后，往往喜欢对好的文档进行转载，或者对该文档进行部分修改后，作为自己的文档重新发布到互联网上。然而，好的文档，往往是作者通过自我的辛勤创作得到的，其他人对该文档进行简单修改后重新发布，这无疑是对作者劳动成果的不尊重。

为了判断用户发布的目标文档是否为原创文档，现有技术中往往是对原创文档和目标文档进行分词处理，得到两个文档的关键词，然后以两个文档的关键词的相似度来确定该原创文档和目标文档的相似度，从而判断该目标文档是否为原创文档。

然而分词处理得到的关键词的好坏会直接影响相似度计算的结果，当对目标文档进行分词处理，得到的关键词比较差时，会使得原创文档和目标文档的相似度计算结果与实际存在较大偏差。

发明内容

本发明实施例的目的在于提供一种原创文档判断方法、装置、电子设备及存储介质，以提高原创文档确定的准确性。具体技术方案如下：

第一方面，本发明实施例提供了一种原创文档判断方法，该方法包括：

接收用户终端发送的待处理文档，并采用simhash算法计算待处理文档的simhash签名；

从预设原创文档库中获取第一原创文档的simhash签名，根据待处理文档的simhash签名与第一原创文档的simhash签名，计算待处理文档与第一原创文档的相似度，其中，第一原创文档为预设原创文档库中的任一原创文档；

在待处理文档与第一原创文档的相似度大于第一预设阈值时，获取第一原创文档，并与待处理文档进行全文对比；

获取待处理文档中与第一原创文档的相同内容，并计算相同内容在第一原创文档中所占比例；

判断相同内容在第一原创文档中所占比例是否大于或等于第二预设阈值，在相同内容在第一原创文档中所占比例大于或等于第二预设阈值时，将待处理文档标记为非原创文档，在相同内容在第一原创文档中所占比例小于第二预设阈值时，将待处理文档标记为原创文档。

可选的，接收用户终端发送的待处理文档，并采用simhash算法计算待处理文档的simhash签名，包括：

获取用户终端发送的待处理文档，对待处理文档进行分词处理，得到待处理文档的特征词；

对待处理文档的特征词进行去噪处理，并计算去噪处理后的特征词的权重；

通过哈希算法计算去噪处理后的特征词的哈希值，并根据去噪处理后的特征词的哈希值和去噪处理后的特征词的权重，对去噪处理后的特征词的哈希值进行加权处理，得到加权处理后的特征词的哈希值；

对加权处理后的特征词的哈希值进行合并降维处理，得到待处理文档的simhash签名。

可选的，预设原创文档库的构建方法包括：