[发明专利]一种数据处理方法和装置

说明书

本申请提供了一种数据处理方法，包括：基于预设的数据访问旁路接口实时接收数据访问请求；分析所述数据访问请求，得到与所述数据访问请求对应的目标数据库；获取所述目标数据库中的目标数据，所述目标数据库包括缓存数据库、关系数据库以及分布式数据库中的一个。本方案中，针对不同类型的数据设置缓存数据库、关系数据库以及分布式数据库，基于数据访问旁路接口实时接收数据访问请求，并确定相应目标数据所在的数据库进行获取目标数据，利用不同类型数据库优势，实现系统的高吞吐量、低延时。

技术领域

本申请涉及电子设备领域，更具体的说，是涉及一种数据处理方法和装置。

背景技术

信息科技及移动网络高速发展的今天，随着业务的快速发展，应用的访问量和数据的存储量正以几何指数增长，传统关系性数据库在存储海量数据的同时兼顾不同应用处理方面出现了瓶颈。

因此，在对于数据系统建设中，如何实现高吞吐量、低延时，减少海量数据分析处理时长，降低应用间耦合度成为系统设计中的重要内容。

发明内容

有鉴于此，本申请提供了一种数据处理方法，解决现有技术中采用访问关系性数据库存储海量数据，访问时出现弊端的问题。

为实现上述目的，本申请提供如下技术方案：

一种数据处理方法，包括：

基于数据访问接口实时接收数据访问请求；

分析所述数据访问请求，得到与所述数据访问请求对应的目标数据库；

获取所述目标数据库中的目标数据，所述目标数据库包括缓存数据库、关系数据库以及分布式数据库中的一个。

优选的，上述的方法，所述分析所述数据访问请求，得到与所述数据访问请求对应的目标数据库，包括：

分析所述数据访问请求所属应用的类型，分析所述数据访问请求所属应用的类型是否为批量数据分析应用，得到第一判断结果；

基于所述第一判断结果表征所述应用的类型是批量数据分析应用，选择分布式数据库作为目标数据库；

基于所述第一判断结果表征所述应用的类型不是批量数据分析应用，分析所述目标数据是否为热点数据，得到第二判断结果；

基于所述第二判断结果表征所述目标数据是热点数据，选择缓存数据库作为目标数据库；

基于所述第二判断结果表征所述目标数据不是热点数据，选择关系数据库作为目标数据库。

优选的，上述的方法，还包括：

基于预设的数据访问旁路接口实时接收数据访问请求；

基于预设的流式统计规则对于所述数据访问请求对应的目标数据进行热度统计，得到统计结果；

如果所述数据访问请求对应的目标数据的类型是热点数据，且所述统计结果不满足预设的热度条件，将目标数据从缓存数据库转移至关系数据库中；

如果所述目标数据的类型是非热点数据，且所述统计结果满足预设的热度条件，将目标数据从关系数据库转移至缓存数据库中。

优选的，上述的方法，所述将目标数据从缓存数据库转移至关系数据库中之后，还包括：

更新预设的路由策略，将所述路由策略中记录的所述目标数据的存储区域从缓存数据库更新为关系数据库，所述路由策略中包括目标数据以及存储所述目标数据的数据库的对应关系；

所述将目标数据从关系数据库转移至缓存数据库中之后，还包括：

更新预设的路由策略，将所述路由策略中记录的所述目标数据的存储区域从关系数据库更新为缓存数据库。