[发明专利]依赖文件缓存更新的方法、装置、计算机设备及存储介质在审
申请号: | 202210216275.3 | 申请日: | 2022-03-07 |
公开(公告)号: | CN114745439A | 公开(公告)日: | 2022-07-12 |
发明(设计)人: | 包红强 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | H04L67/5682 | 分类号: | H04L67/5682;H04L67/1097 |
代理公司: | 北京三聚阳光知识产权代理有限公司 11250 | 代理人: | 刘贺秋 |
地址: | 450000 河南省郑州市高新技*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 依赖 文件 缓存 更新 方法 装置 计算机 设备 存储 介质 | ||
1.一种依赖文件缓存更新的方法,其特征在于,应用于待构建集群的第一节点;所述方法包括:
基于从第一节点本地依赖缓存中读取的第一依赖文件,生成第一依赖文件的第一缓存信息;所述第一缓存信息用于记录第一节点本地依赖缓存信息;
以所述第一缓存信息为依据,查询编译构建命令所需的第二依赖文件在第一节点的命中结果;
根据所述命中结果为未命中,查询至少一个第二节点的所述第二依赖文件的缓存结果;
根据所述缓存结果为存在,从具有第二依赖文件的第二节点获取所述第二依赖文件;
基于所述第二依赖文件刷新第一缓存信息,以得到第二缓存信息;所述第二缓存信息用于记录刷新后的第一节点本地依赖缓存信息。
2.根据权利要求1所述的依赖文件缓存更新的方法,其特征在于,所述根据所述缓存结果为存在,从具有第二依赖文件的第二节点获取所述第二依赖文件,包括:
如果多个第二节点缓存有所述第二依赖文件,分别获取所述多个第二节点的节点下载连接数;
对获取的所有节点当前正在并发下载的下载连接数进行排序,以得到排序结果;
根据所述排序结果从具有最小节点下载连接数的第二节点下载所述第二依赖文件。
3.根据权利要求1或2所述的依赖文件缓存更新的方法,其特征在于,所述从具有第二依赖文件的第二节点获取所述第二依赖文件之后包括:
根据第二依赖文件大小和第一依赖文件大小,确定本地依赖缓存是否达到配置的缓存上限;
如果达到所述缓存上限,删除至少一个第一依赖文件,并在本地依赖缓存中存储所述第二依赖文件;
如果未达到所述缓存上限,在本地依赖缓存中存储所述第二依赖文件。
4.根据权利要求3所述的依赖文件缓存更新的方法,其特征在于,所述删除至少一个第一依赖文件包括:
读取所述第一缓存信息或所述第二缓存信息中第一依赖文件的访问时间;
至少删除访问时间最早的第一依赖文件。
5.根据权利要求1所述的依赖文件缓存更新的方法,其特征在于,所述生成第一依赖文件的第一缓存信息包括:
获取各个所述第一依赖文件的访问时间、文件名、本地存储路径以及大小;
基于所述访问时间确定第一依赖文件的缓存数据结构;
按照所述缓存数据结构,对所述第一依赖文件的访问时间、文件名、本地存储路径以及大小进行存储,以生成第一依赖文件的第一缓存信息。
6.根据权利要求1所述的依赖文件缓存更新的方法,其特征在于,还包括:
根据所述缓存结果为不存在或者从第二节点获取所述第二依赖文件失败,从具有第二依赖文件的外部依赖库获取所述第二依赖文件。
7.一种依赖文件缓存更新的装置,其特征在于,应用于待构建集群的第一节点;所述装置包括:
缓存信息生成单元,用于基于从第一节点本地依赖缓存中读取的第一依赖文件,生成第一依赖文件的第一缓存信息;所述第一缓存信息用于记录第一节点本地依赖缓存信息;
命中结果查询单元,用于以所述第一缓存信息为依据,查询编译构建命令所需的第二依赖文件在第一节点的命中结果;
缓存结果查询单元,用于根据所述命中结果为未命中,查询至少一个第二节点的所述第二依赖文件的缓存结果;
依赖文件获取单元,用于根据所述缓存结果为存在,从具有第二依赖文件的第二节点获取所述第二依赖文件;
缓存信息刷新单元,用于基于所述第二依赖文件刷新第一缓存信息,以得到第二缓存信息;所述第二缓存信息用于记录刷新后的第一节点本地依赖缓存信息。
8.根据权利要求7所述的依赖文件缓存更新的装置,其特征在于,
所述依赖文件获取单元,用于根据多个第二节点缓存有所述第二依赖文件,分别获取所述多个第二节点的节点下载连接数;所述依赖文件获取单元用于对获取的所有节点当前正在并发下载的下载连接数进行排序,以得到排序结果;所述依赖文件获取单元用于根据所述排序结果从具有最小节点下载连接数的第二节点下载所述第二依赖文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210216275.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种样本扩充方法、装置、设备及可读存储介质
- 下一篇:综掘机用输送装置