[发明专利]一种文档的去重方法、设备及可读介质有效
| 申请号： | 201910373004.7 | 申请日： | 2019-05-06 |
| 公开（公告）号： | CN110134852B | 公开（公告）日： | 2021-05-28 |
| 发明（设计）人： | 冯博琳 | 申请（专利权）人： | 北京四维图新科技股份有限公司 |
| 主分类号： | G06F16/953 | 分类号： | G06F16/953;G06F16/332;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京晋德允升知识产权代理有限公司 11623 | 代理人： | 王雪霞 |
| 地址： | 100028 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本说明书实施例公开了一种文档的去重方法、设备及可读介质，其方案是，采用特征工程策略从第一文档和第二文档中提取来自特征工程的特征；采用神经网络策略从第一文档和第二文档中提取来自神经网络的特征；根据来自特征工程的特征和来自神经网络的特征计算第一文档和第二文档的综合相似度；根据综合相似度确定第一文档与第二文档是否重复，其中，来自特征工程的特征和来自神经网络的特征均为用于表示第一文档和第二文档之间相似程度的特征。 | ||
| 搜索关键词： | 一种 文档 方法 设备 可读 介质 | ||
【主权项】：
1.一种文档的去重方法，其特征在于，包括：采用特征工程策略从第一文档和第二文档中提取来自特征工程的特征；采用神经网络策略从所述第一文档和所述第二文档中提取来自神经网络的特征；根据所述来自特征工程的特征和所述来自神经网络的特征计算所述第一文档和所述第二文档的综合相似度；根据所述综合相似度确定所述第一文档与所述第二文档是否重复，其中，所述来自特征工程的特征和所述来自神经网络的特征均为用于表示所述第一文档和所述第二文档之间相似程度的特征。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京四维图新科技股份有限公司，未经北京四维图新科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910373004.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种基于领域内网的搜索引擎系统及构建方法
- 下一篇：数据爬取方法及系统
