[发明专利]一种原创文档判断方法、装置、电子设备及存储介质

权利要求书

1.一种原创文档判断方法，其特征在于，所述方法包括：

接收用户终端发送的待处理文档，并采用simhash算法计算所述待处理文档的simhash签名；

从预设原创文档库中获取第一原创文档的simhash签名，根据所述待处理文档的simhash签名与所述第一原创文档的simhash签名，计算所述待处理文档与所述第一原创文档的相似度，其中，所述第一原创文档为所述预设原创文档库中的任一原创文档；

在所述待处理文档与所述第一原创文档的相似度大于第一预设阈值时，获取所述第一原创文档，并与所述待处理文档进行全文对比；

获取所述待处理文档中与所述第一原创文档的相同内容，并计算所述相同内容在所述第一原创文档中所占比例；

判断所述相同内容在所述第一原创文档中所占比例是否大于或等于第二预设阈值，在所述相同内容在所述第一原创文档中所占比例大于或等于第二预设阈值时，将所述待处理文档标记为非原创文档，在所述相同内容在所述第一原创文档中所占比例小于第二预设阈值时，将所述待处理文档标记为原创文档。

2.根据权利要求1所述的方法，其特征在于，所述接收用户终端发送的待处理文档，并采用simhash算法计算所述待处理文档的simhash签名，包括：

获取用户终端发送的待处理文档，对所述待处理文档进行分词处理，得到所述待处理文档的特征词；

对所述待处理文档的特征词进行去噪处理，并计算去噪处理后的特征词的权重；

通过哈希算法计算去噪处理后的特征词的哈希值，并根据所述去噪处理后的特征词的哈希值和所述去噪处理后的特征词的权重，对所述去噪处理后的特征词的哈希值进行加权处理，得到加权处理后的特征词的哈希值；

对所述加权处理后的特征词的哈希值进行合并降维处理，得到所述待处理文档的simhash签名。

3.根据权利要求1所述的方法，其特征在于，所述预设原创文档库的构建方法包括：

获取各原创文档，并计算所述各原创文档的simhash签名；

将所述各原创文档的simhash签名和所述各原创文档存储在预设数据库中，得到所述预设原创文档库。

4.根据权利要求1-3任一项所述的方法，其特征在于，在将所述待处理文档标记为原创文档之后，所述方法还包括：

将所述待处理文档的simhash签名和所述待处理文档存储在所述预设原创文档库中。

5.一种原创文档判断装置，其特征在于，所述装置包括：

接收计算模块，用于接收用户终端发送的待处理文档，并采用simhash算法计算所述待处理文档的simhash签名；

相似度计算模块，用于从预设原创文档库中获取第一原创文档的simhash签名，根据所述待处理文档的simhash签名与所述第一原创文档的simhash签名，计算所述待处理文档与所述第一原创文档的相似度，其中，所述第一原创文档为所述预设原创文档库中的任一原创文档；

对比模块，用于在所述待处理文档与所述第一原创文档的相似度大于第一预设阈值时，获取所述第一原创文档，并与所述待处理文档进行全文对比；

比例计算模块，用于获取所述待处理文档中与所述第一原创文档的相同内容，并计算所述相同内容在所述第一原创文档中所占比例；

判断模块，用于判断所述相同内容在所述第一原创文档中所占比例是否大于或等于第二预设阈值，在所述相同内容在所述第一原创文档中所占比例大于或等于第二预设阈值时，将所述待处理文档标记为非原创文档，在所述相同内容在所述第一原创文档中所占比例小于第二预设阈值时，将所述待处理文档标记为原创文档。