[发明专利]文档重复度检测方法、装置、设备和可读存储介质在审
申请号: | 202010530790.X | 申请日: | 2020-06-11 |
公开(公告)号: | CN111737966A | 公开(公告)日: | 2020-10-02 |
发明(设计)人: | 于一笑;杨力;肖施施 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F40/194 | 分类号: | G06F40/194;G06K9/62;G06F16/9535;G06F16/903 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档 重复 检测 方法 装置 设备 可读 存储 介质 | ||
1.一种文档重复度检测方法,包括:
采用数字签名算法对待检测文档进行运算,得到所述待检测文档的数字签名;
将所述数字签名在正版签名库中进行匹配,得到匹配结果;
将所述待检测文档进行网络搜索,得到所述待检测文档的搜索结果;
根据所述匹配结果和所述搜索结果,对所述待检测文档进行重复度检测。
2.根据权利要求1所述的方法,其中,所述将所述数字签名在正版签名库中进行匹配,得到匹配结果,包括:
将所述数字签名在正版签名库中进行模糊匹配,得到目标数字签名;
将所述数字签名与所述目标数字签名进行相似度计算,得到所述数字签名与所述目标数字签名的相似度。
3.根据权利要求2所述的方法,其中,所述将所述数字签名在正版签名库中进行模糊匹配,得到目标数字签名,包括:
在正版签名库中查找包括所述数字签名的目标数字签名。
4.根据权利要求3所述的方法,其中,所述采用数字签名算法对待检测文档进行运算,得到所述待检测文档的数字签名,包括:
对所述待检测文档进行切分,得到多个特征片段;
采用数字签名算法对所述多个特征片段分别进行运算,得到多个数字签名;
所述在正版签名库中查找包括所述数字签名的目标数字签名,包括:
在正版签名库中查找包括所述多个数字签名中任一数字签名的目标数字签名。
5.根据权利要求2-4任一项所述的方法,其中,所述数字签名包括标题的数字签名和正文的数字签名,所述目标数字签名包括目标标题的数字签名和目标正文的数字签名;
所述将所述数字签名与所述目标数字签名进行相似度计算,得到所述数字签名与所述目标数字签名的相似度,包括:
将所述标题的数字签名与所述目标标题的数字签名进行相似度计算,得到标题的相似度;
将所述正文的数字签名与所述目标正文的数字签名进行相似度计算,得到正文的相似度。
6.根据权利要求5所述的方法,其中,所述将所述正文的数字签名与所述目标正文的数字签名进行相似度计算,得到正文的相似度,包括:
从所述正文的数字签名中,筛选超过设定长度的目标特征片段的数字签名;
如果所述目标特征片段的数字签名包含在所述目标正文的数字签名中,确定正文的相似度为设定值。
7.根据权利要求5所述的方法,其中,所述根据所述匹配结果和所述搜索结果,对所述待检测文档进行重复度检测,包括:
计算所述待检测文档与所述搜索结果的网络相似度;
根据所述标题的相似度和正文的相似度计算标题与正文的综合相似度;
如果所述网络相似度和所述综合相似度中的较大者超过设定相似度阈值,测定所述待检测文档为重复文档。
8.根据权利要求7所述的方法,在如果所述网络相似度和所述综合相似度中的较大者超过设定相似度阈值,测定所述待检测文档为重复文档之前,还包括:
获取所述待检测文档的作者上传的历史文档;
根据所述历史文档中重复文档的占比,得到所述设定相似度阈值。
9.一种文档重复度检测装置,包括:
签名运算模块,用于采用数字签名算法对待检测文档进行运算,得到所述待检测文档的数字签名;
匹配模块,用于将所述数字签名在正版签名库中进行匹配,得到匹配结果;
网络搜索模块,用于将所述待检测文档进行网络搜索,得到所述待检测文档的搜索结果;
检测模块,用于根据所述匹配结果和所述搜索结果,对所述待检测文档进行重复度检测。
10.根据权利要求9所述的装置,其中,所述匹配模块,包括:
模糊匹配子模块,用于将所述数字签名在正版签名库中进行模糊匹配,得到目标数字签名;
相似度计算子模块,用于将所述数字签名与所述目标数字签名进行相似度计算,得到所述数字签名与所述目标数字签名的相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010530790.X/1.html,转载请声明来源钻瓜专利网。