[发明专利]一种数据处理方法和装置在审
申请号: | 202011583699.0 | 申请日: | 2020-12-28 |
公开(公告)号: | CN112597231A | 公开(公告)日: | 2021-04-02 |
发明(设计)人: | 朱伟伟;赵焕芳;侯鑫磊;徐烨;周帅;许弘毅;董朝霞 | 申请(专利权)人: | 中国农业银行股份有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/28;G06F16/27;G06F16/21 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王欢 |
地址: | 100005 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,包括:
基于数据访问接口实时接收数据访问请求;
分析所述数据访问请求,得到与所述数据访问请求对应的目标数据库;
获取所述目标数据库中的目标数据,所述目标数据库包括缓存数据库、关系数据库以及分布式数据库中的一个。
2.根据权利要求1所述的方法,其特征在于,所述分析所述数据访问请求,得到与所述数据访问请求对应的目标数据库,包括:
分析所述数据访问请求所属应用的类型,分析所述数据访问请求所属应用的类型是否为批量数据分析应用,得到第一判断结果;
基于所述第一判断结果表征所述应用的类型是批量数据分析应用,选择分布式数据库作为目标数据库;
基于所述第一判断结果表征所述应用的类型不是批量数据分析应用,分析所述目标数据是否为热点数据,得到第二判断结果;
基于所述第二判断结果表征所述目标数据是热点数据,选择缓存数据库作为目标数据库;
基于所述第二判断结果表征所述目标数据不是热点数据,选择关系数据库作为目标数据库。
3.根据权利要求1所述的方法,其特征在于,还包括:
基于预设的数据访问旁路接口实时接收数据访问请求;
基于预设的流式统计规则对于所述数据访问请求对应的目标数据进行热度统计,得到统计结果;
如果所述数据访问请求对应的目标数据的类型是热点数据,且所述统计结果不满足预设的热度条件,将目标数据从缓存数据库转移至关系数据库中;
如果所述目标数据的类型是非热点数据,且所述统计结果满足预设的热度条件,将目标数据从关系数据库转移至缓存数据库中。
4.根据权利要求3所述的方法,其特征在于,所述将目标数据从缓存数据库转移至关系数据库中之后,还包括:
更新预设的路由策略,将所述路由策略中记录的所述目标数据的存储区域从缓存数据库更新为关系数据库,所述路由策略中包括目标数据以及存储所述目标数据的数据库的对应关系;
所述将目标数据从关系数据库转移至缓存数据库中之后,还包括:
更新预设的路由策略,将所述路由策略中记录的所述目标数据的存储区域从关系数据库更新为缓存数据库。
5.根据权利要求3所述的方法,其特征在于,所述将目标数据从缓存数据库转移至关系数据库中,包括:
基于预设的路由策略,确定所述目标数据存储在所述缓存数据库中的第一区域;
从所述第一区域获取所述目标数据,将所述目标数据的数据格式转换为列表式存储格式,将列表式存储格式的目标数据存储到关系数据库中的目标存储区域。
6.根据权利要求3所述的方法,其特征在于,所述目标数据从关系数据库转移至缓存数据库中,包括:
基于预设的路由策略,确定所述目标数据存储在所述关系数据库中的第二区域;
从所述第二区域获取所述目标数据,将所述目标数据的数据格式转换为key-value存储格式,将key-value存储格式的目标数据存储到缓存数据库中的目标存储区域。
7.一种数据处理装置,其特征在于,包括:
接收模块,用于基于数据访问接口实时接收数据访问请求;
处理模块,用于分析所述数据访问请求,得到与所述数据访问请求对应的目标数据库;获取所述目标数据库中的目标数据,所述目标数据库包括缓存数据库、关系数据库以及分布式数据库中的一个。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业银行股份有限公司,未经中国农业银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011583699.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:征信数据使用方法及系统
- 下一篇:一种空间遥感器静定重力卸载装置