[发明专利]Annoy热更新方法、装置、设备及介质有效
申请号: | 202110461506.2 | 申请日: | 2021-04-27 |
公开(公告)号: | CN113031992B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 欧阳建国 | 申请(专利权)人: | 中国平安人寿保险股份有限公司 |
主分类号: | G06F8/65 | 分类号: | G06F8/65;G06F8/71;G06F9/50;G06F16/901;G06F16/903 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 刘丽华 |
地址: | 518000 广东省深圳市福田区益田路503*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | annoy 更新 方法 装置 设备 介质 | ||
本发明涉及大数据领域,提供一种Annoy热更新方法、装置、设备及介质,能够通过哈希映射表记录实时门栓信息,保证实时门栓信息不被篡改,提高数据的安全性,使实时门栓信息更加可靠,基于异步监控线程监控电子设备的内存占用信息,能够保证在执行Annoy热更新时不会由于内存占用过高而出现宕机,根据内存占用信息判断是否启动回滚机制,当不启动回滚机制,且当前Annoy模型完成更新时,启动定时器,定时结束时,启动销毁机制,不立即启动销毁机制,避免在当前Annoy模型无法稳定工作而直接下线历史Annoy模型导致任务执行异常,保证了服务的可靠性,进而实现对Annoy的热更新。此外,本发明还涉及区块链技术,更新后的当前Annoy模型可存储于区块链节点中。
技术领域
本发明涉及大数据技术领域,尤其涉及一种Annoy热更新方法、装置、设备及介质。
背景技术
Annoy(Approximate Nearest Neighbors Oh Yeah)搜索算法在相似查找领域具有出色的表现,当我们完成一个Annoy数据模型时,最终目的是导入到生产环境中为线上环境提供相关服务。
实际工程中,在建立了第一版Annoy数据模型后,需要不断地进行迭代,或者是针对一些实时数据变化,对模型或者模型内的参数进行热更新,但是,一旦服务上线,就不能随意停止或者重启服务,服务终止所带来的损失在互联网时代的成本较高,通常代价是难以支撑的。因此,要保证尽可能小的损失,就需要有特定的热更新机制,以便在热更新时能够快速切换。
然而,完成一个Annoy模型的热更新也并不简单,需要同时保证原子化、不可终止、支持回滚3个核心保证点。传统的热更新采用的是double buffer技术,即采用双缓存备份技术,在运行过程中用两个变量来保存,一个变量用于正常运行,支持索引请求,另一个变量则用来更新Annoy模型,模型更新完以后,利用新模型的变量响应索引请求。这种方式虽然能保证上述3个核心保证点,但在执行时会消耗双倍内存,并且,当Annoy模型较大时,轻则发生模型更新失败,影响索引结果,重则导致JVM(Java Virtual Machine,Java虚拟机)的OOM(Out Of Memory,内存溢出),对生产环境造成不可预计的损失。
鉴于现有技术方案中存在的上述问题,需要对传统的Annoy热更新方案执行进一步地优化。
发明内容
鉴于以上内容,有必要提供一种Annoy热更新方法、装置、设备及介质,能够结合异步监控线程、回滚机制,以及延迟销毁机制实现对Annoy的热更新。
一种Annoy热更新方法,所述Annoy热更新方法包括:
响应于Annoy热更新请求,根据所述Annoy热更新请求确定待更新的Annoy模型的模型名,并从当前缓冲器中获取与所述模型名对应的当前Annoy模型,更新所述当前Annoy模型;
获取所述当前Annoy模型更新时的实时门栓信息;
获取预先构建的哈希映射表,将所述实时门栓信息写入所述哈希映射表;
启动异步监控线程,基于所述异步监控线程监控电子设备的内存占用信息;
根据所述内存占用信息判断是否启动回滚机制,并根据所述哈希映射表判断所述当前Annoy模型的更新状态;
当不启动所述回滚机制,且所述当前Annoy模型的更新状态为完成更新时,启动定时器;
当所述定时器显示定时结束时,启动销毁机制。
根据本发明优选实施例,所述根据所述Annoy热更新请求确定待更新的Annoy模型的模型名包括:
解析所述Annoy热更新请求的方法体,得到所述Annoy热更新请求所携带的信息;
获取预设标签;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司,未经中国平安人寿保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110461506.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:扭曲文档恢复方法、装置、设备及介质
- 下一篇:一种高性能燃气管材及其制备方法