[发明专利]基于Ignite缓存架构的数据查询方法及系统在审
申请号: | 201910041334.6 | 申请日: | 2019-01-16 |
公开(公告)号: | CN111444222A | 公开(公告)日: | 2020-07-24 |
发明(设计)人: | 范东;孙迁;汪金忠 | 申请(专利权)人: | 苏宁易购集团股份有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/27 |
代理公司: | 北京市万慧达律师事务所 11111 | 代理人: | 黄玉东 |
地址: | 210000 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 ignite 缓存 架构 数据 查询 方法 系统 | ||
1.一种基于Ignite缓存架构的数据查询方法,其特征在于,包括:
步骤S1,设置缓存算法,将根据缓存算法得到的查询对象按照优先级顺序暂存于缓冲池中;
步骤S2,基于所述查询对象启动调度任务从对应的外部数据源中抽取缓存数据保存于Ignite分布式节点;
步骤S4,接收用户发起的查询请求,当Ignite分布式节点中存储有与所述查询请求匹配的查询对象时,则将对应的缓存数据关联后反馈输出,否则直接访问外部数据源获取与查询对象匹配的结果数据反馈输出。
2.根据权利要求1所述的方法,其特征在于,在步骤S2和步骤S4之间还包括:
步骤S3:预估用户的查询请求,定期更新Ignite分布式节点中存储的缓存数据。
3.根据权利要求1或2所述的方法,其特征在于,所述步骤1中,设置缓存算法,将根据缓存算法得到的查询结果按照优先级顺序暂存于缓冲池中的方法包括:
所述缓存算法用于筛选出查询频率高和查询耗时长的查询对象;
基于筛选出查询对象的权重结果按照TopN排序暂存于缓冲池中,其中,所述权重结果为查询频率的权重值与查询耗时的权重值之和。
4.根据权利要求1所述的方法,其特征在于,所述步骤2中,基于所述查询对象启动调度任务从对应的外部数据源中抽取缓存数据保存于Ignite分布式节点的方法包括:
通过创建类的形式采用SQL语法创建多个用于缓存数据集的存储表;
基于所述查询对象分别启动调度任务从对应的外部数据源中抽取缓存数据保存于相同或者不同的节点中,所述节点至少包括一个存储表。
5.根据权利要求4所述的方法,其特征在于,在基于所述查询对象分别启动调度任务从对应的外部数据源中抽取缓存数据保存于相同或者不同的节点中之后还包括:
对所述节点中的缓存数据进行缓存持久化操作,以使重启服务时缓存数据能够在节点内存上自动被加载。
6.根据权利要求1所述的方法,其特征在于,当Ignite分布式节点中存储有与所述查询请求匹配的查询对象时,则将对应的缓存数据关联后反馈输出的方法包括:
根据用户发起的查询请求从对应的节点中匹配查询对象;
将来自不同外部数据源的查询对象关联匹配后使用SQL语法分析后输出反馈结果。
7.一种基于Ignite缓存架构的数据查询系统,其特征在于,包括:
算法设置单元,用于设置缓存算法,将根据缓存算法得到的查询对象按照优先级顺序暂存于缓冲池中;
缓存创建单元,基于所述查询对象启动调度任务从对应的外部数据源中抽取缓存数据保存于Ignite分布式节点;
结果输出单元,用于接收用户发起的查询请求,当Ignite分布式节点中存储有与所述查询请求匹配的查询对象时,则将对应的缓存数据关联后反馈输出,否则直接访问外部数据源获取与查询对象匹配的结果数据反馈输出。
8.根据权利要求7所述的系统,其特征在于,还包括:
缓存更新单元,用于预估用户的查询请求,定期更新Ignite分布式节点中存储的缓存数据。
9.根据权利要求7所述的系统,其特征在于,所述算法设置单元包括:
查询对象模块,用于筛选出查询频率高和查询耗时长的查询对象;
筛选模块,用于基于筛选出查询对象的权重结果按照TopN排序暂存于缓冲池中,其中,所述权重结果为查询频率的权重值与查询耗时的权重值之和。
10.根据权利要求7所述的系统,其特征在于,所述缓存创建单元包括:
存储表创建模块,用于通过创建类的形式采用SQL语法创建多个用于缓存数据集的存储表;
缓存数据提取模块,用于基于所述查询对象分别启动调度任务从对应的外部数据源中抽取缓存数据保存于相同或者不同的节点中,所述节点至少包括一个存储表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏宁易购集团股份有限公司,未经苏宁易购集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910041334.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:深度数据的传输方法及其装置
- 下一篇:一种双坩埚