[发明专利]文本去重方法及装置在审
| 申请号： | 201811173826.2 | 申请日： | 2018-10-09 |
| 公开（公告）号： | CN109241505A | 公开（公告）日： | 2019-01-18 |
| 发明（设计）人： | 唐梓毅;汪冠春;胡一川;张海雷 | 申请（专利权）人： | 北京奔影网络科技有限公司 |
| 主分类号： | G06F17/22 | 分类号： | G06F17/22;G06F16/33 |
| 代理公司： | 北京卓唐知识产权代理有限公司 11541 | 代理人： | 唐海力;李志刚 |
| 地址： | 100083 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种文本去重方法及装置。该方法包括通过计算待处理文本的相似哈希值得到相似文本对；判断所述相似文本对中的预设文本特征是否相同；如果判断所述相似文本对中的预设文本特征相同，则保留所述相似文本对中的一条文本；以及如果判断所述相似文本对中的预设文本特征不同，则保留所述相似文本对。本申请解决了字面相近的文本去重效果较差的技术问题。通过本申请可以快速、准确地进行文本去重。此外，本申请特别适用于网站中标书类的文本去重。 | ||
| 搜索关键词： | 文本 去重 文本特征 预设 申请 保留 哈希 网站 | ||
【主权项】：
1.一种文本去重方法，其特征在于，包括：通过计算待处理文本的相似哈希值得到相似文本对；判断所述相似文本对中的预设文本特征是否相同；如果判断所述相似文本对中的预设文本特征相同，则保留所述相似文本对中的一条文本；以及如果判断所述相似文本对中的预设文本特征不同，则保留所述相似文本对。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奔影网络科技有限公司，未经北京奔影网络科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811173826.2/，转载请声明来源钻瓜专利网。
