[发明专利]文档检测方法及装置

说明书

技术领域

本发明涉及一种文档检测方法及装置，尤其是指一种用于比对长文档相似度的文档检测方法及装置。

背景技术

通常地，用于文档相似度的文档检测方法是通过文档的标题、作者、字词信息进行确认。然而，这样的做法具有以下缺陷：首先，通过文档的标题、作者、字词信息查询，容易产生遗漏，例如，将该文档的标题、作者信息修改或删除，或者将文档切分为多个部分，以使得通过字词信息无法准确的查询或比对其他文档；其次，如果待查询的文档篇幅较长，如一部长篇小说，则通过字词信息进行查询，查询效率较低、服务器或计算机处理压力较大，影响服务器或计算机的正常工作效率。

发明内容

本发明的目的在于提供一种经过改进的文档检测方法。

本发明的另一目的在于一种经过改进的文档检测装置，所述的装置应用所述的经过改进的文档检测方法。

相应地，本发明的一种实施方式的文档检测方法，包括：

S1、获取与文档相应地段落特征信息；

S2、将所述文档的段落特征信息与至少一个已有文档的段落特征信息进行比对；

S3、根据所述比对结果判断是否具有与所述文档相似的已有文档。

作为本发明的进一步改进，所述段落特征信息为预设特征位的段落签名。

作为本发明的进一步改进，通过哈希算法得到所述预设特征位的段落签名。

作为本发明的进一步改进，所述“通过哈希算法得到所述预设特征位的段落签名”，具体包括以下步骤：

S100、对文档中每一个段落进行切词，得到该段落的词和词频的二元组列表；

S101、对所述列表中的二元组进行初始权重向量计算；

S102、将所述二元组通过哈希算法进行计算，得到预设特征位的哈希字符串；

S103、将所述哈希字符串映射至所述权重向量中；

S104、计算权重向量对应位的值，获得预设特征位的段落签名。

作为本发明的进一步改进，所述S103步骤具体包括：

判断所述哈希字符串中的每一位是0还是1，若是0的话，则在映射至所述权重向量相应位时，对该位进行减权；若是1的话，则在映射至所述权重向量相应位时，对该位进行加权。

作为本发明的进一步改进，所述S104步骤具体包括：

判断所述权重向量对应位的值是否大于0；若大于0，则将所述权重向量对应位的值设为1，若小于等于0，则将该权重向量对应位的值设为0。

作为本发明的进一步改进，当所述文档与所述已有文档的相似段落数与所述文档的总段落数的比值大于等于设定的第二阈值时，判定所述文档与已有文档相似；当所述文档与所述已有文档的相似段落数与所述文档的总段落数的比值小于设定的第二阈值时，则判定所述文档与已有文档不相似。

作为本发明的进一步改进，当所述文档与所述已有文档的相似段落数与所述文档的总段落数的比值大于等于设定的第二阈值时，且所述文档的总段落签名与所述已有文档的总段落签名计算结果小于第一阈值，判定所述文档与已有文档相似；当所述文档与所述已有文档的相似段落数与所述文档的总段落数的比值小于设定的第二阈值时，则判定所述文档与已有文档不相似。

作为本发明的进一步改进，所述相似段落数目是通过以下步骤得到的：

通过算法将所述文档得到预设特征位的段落签名与已有文档的预设特征位的段落签名进行计算，若计算结果大于预定的第一阈值，则所述段落不相似；若计算结果小于等于预定的第一阈值，则所述段落相似。

作为本发明的进一步改进，所述“通过算法将所述文档得到预设特征位的段落签名与已有文档的预设特征位的段落签名进行计算”是通过汉明码距离计算所述文档的段落签名与所述已有文档的段落签名的距离。

作为本发明的进一步改进，将与已有文档相似的所述文档的版权属性定义为盗版文档。

作为本发明的进一步改进，将与已有文档相似的所述文档的版权属性定义为疑似盗版文档。

作为本发明的进一步改进，审核所述疑似盗版文档，若审核确认所述疑似盗版文档为盗版文档，则发送反馈信息；若审核确认所述疑似盗版文档为非盗版文档，则在线发布所述非盗版文档。

作为本发明的进一步改进，将与所述文档相似的一个或多个所述已有文档的版权属性定义为盗版文档。

作为本发明的进一步改进，将与所述文档相似的一个或多个所述已有文档的属性定义为疑似盗版文档。

作为本发明的进一步改进，审核所述疑似盗版文档，若审核确认所述疑似盗版文档为盗版文档，则删除所述盗版文档；若审核确认所述疑似盗版文档为非盗版文档，则保留所述非盗版文档。