[发明专利]一种应用于搜索系统的数据淘汰方法和装置在审
申请号: | 201910247135.0 | 申请日: | 2019-03-29 |
公开(公告)号: | CN109918575A | 公开(公告)日: | 2019-06-21 |
发明(设计)人: | 刘一平 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/9535 | 分类号: | G06F16/9535 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 淘汰 业务数据 方法和装置 搜索系统 参考数据 常驻系统 系统负载 系统空间 重新加载 传统的 冷数据 热数据 命中率 延迟 应用 搜索 访问 记录 | ||
1.一种应用于搜索系统的数据淘汰方法,所述方法包括:
获取业务数据的被访问信息,所述被访问信息至少包括业务数据的被访问时间信息,根据所述被访问信息计算并调整对应业务数据的活跃值;
提取业务数据的时间字段,根据所述时间字段确定业务数据在搜索系统中的存在时长;
利用预设的数据热度算法计算每条业务数据的热度分值,所述热度分值与业务数据的存在时长成反比,且与所述业务数据的活跃值成正比;
将计算出业务数据的热度分值与预定义的淘汰阈值进行对比,将热度分值低于淘汰阈值的业务数据从搜索系统中删除。
2.根据权利要求1所述的方法,所述根据所述被访问信息计算并调整对应业务数据的活跃值,包括:
根据业务数据的最新被访问时间信息,和预定周期内的被访问频率信息更新所述业务数据的活跃值。
3.根据权利要求2所述的方法,所述获取业务数据的被访问信息,包括:
监控业务数据并实时记录业务数据的被访问信息,当客户的业务数据被访问后,同时更新所述客户的关联客户的业务数据的活跃值。
4.根据权利要求3所述的方法,所述同时更新所述客户的关联客户的业务数据的活跃值,包括:
确定所述客户的关联客户,所述关联客户至少包括预设时间范围内,与所述客户发生过交易的其他客户;
确定所述关联客户的关联交易,根据所述关联交易的关联程度确定并更新对应业务数据的活跃值。
5.根据权利要求1所述的方法,所述淘汰阈值的更新方法,包括:
确定搜索系统的最大承载容量和当前已用空间,根据所述最大承载容量和当前已用空间计算搜索系统的剩余可用空间;
根据所述剩余可用空间动态更新淘汰阈值,使淘汰阈值与所述剩余可用空间成反比。
6.一种应用于搜索系统的数据淘汰装置,所述装置包括:
访问监控模块:用于获取业务数据的被访问信息,所述被访问信息至少包括业务数据的被访问时间信息,根据所述被访问信息计算并调整对应业务数据的活跃值;
时长确定模块:用于提取业务数据的时间字段,根据所述时间字段确定业务数据在搜索系统中的存在时长;
热度计算模块:用于利用预设的数据热度算法计算每条业务数据的热度分值,所述热度分值与业务数据的存在时长成反比,且与所述业务数据的活跃值成正比;
数据淘汰模块:用于将计算出业务数据的热度分值与预定义的淘汰阈值进行对比,将热度分值低于淘汰阈值的业务数据从搜索系统中删除。
7.根据权利要求6所述的装置,所述根据所述被访问信息计算并调整对应业务数据的活跃值,包括:
根据业务数据的最新被访问时间信息,和预定周期内的被访问频率信息更新所述业务数据的活跃值。
8.根据权利要求7所述的装置,所述获取业务数据的被访问信息,包括:
监控业务数据并实时记录业务数据的被访问信息,当客户的业务数据被访问后,同时更新所述客户的关联客户的业务数据的活跃值。
9.根据权利要求8所述的装置,所述同时更新所述客户的关联客户的业务数据的活跃值,包括:
确定所述客户的关联客户,所述关联客户至少包括预设时间范围内,与所述客户发生过交易的其他客户;
确定所述关联客户的关联交易,根据所述关联交易的关联程度确定并更新对应业务数据的活跃值。
10.根据权利要求6所述的装置,所述淘汰阈值的更新装置,包括:
确定搜索系统的最大承载容量和当前已用空间,根据所述最大承载容量和当前已用空间计算搜索系统的剩余可用空间;
根据所述剩余可用空间动态更新淘汰阈值,使淘汰阈值与所述剩余可用空间成反比。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910247135.0/1.html,转载请声明来源钻瓜专利网。