[发明专利]一种用于加速相似文本搜索的新型高效过滤方法在审
申请号: | 202211539709.X | 申请日: | 2022-12-02 |
公开(公告)号: | CN115840810A | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 戴海鹏;王景午;李猛;陈贵海 | 申请(专利权)人: | 南京大学 |
主分类号: | G06F16/335 | 分类号: | G06F16/335;G06F16/35 |
代理公司: | 苏州威世朋知识产权代理事务所(普通合伙) 32235 | 代理人: | 郭红岩 |
地址: | 210093 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种用于加速相似文本搜索的新型高效过滤方法,包括如下步骤:对于用户提交的文本数据集,区分高低频元素,将低频元素进行哈希建立待搜索数据集;将数据集中的签名按长度分成不同分区,对于每个分区中的签名,使用聚类方法,将新的带搜索数据集中的相似签名,形成不同的簇,保证簇内文本与簇头文本相似度大于设定的相似度阈值;将每个分区中的每个簇中的文本,分别构建完全二叉树;将树过滤器部署到系统中,通过快速过滤来加速相似文本搜索。本发明在使用K最小值技术来估计交集势的基础上,将过滤器按照数据集的分布构建成树状,避免重复遍历,提升检索效率,并避免了过滤的准确性降低问题。 | ||
搜索关键词: | 一种 用于 加速 相似 文本 搜索 新型 高效 过滤 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202211539709.X/,转载请声明来源钻瓜专利网。