[发明专利]一种数据的处理方法及系统

说明书

技术领域

本发明涉及通信网络技术领域，尤其涉及一种数据的处理方法及系统。

背景技术

随着内存数据库（Memory Data Base，MDB）中数据日积月累越来越多，当MDB中记录数达到千万甚至亿级别时，MDB的访问效率下降明显，导致外层应用的访问效率非常差，访问时间急剧上升，用户体验下降。对此现有的解决方案为通过MDB中的数据类别对MDB进行水平拆分，得到至少一个子MDB。每个子MDB中存储一种或多种类别的数据。

然而，现有通用的数据库查询方式一般是基于结构化的方式，比如基于结构化查询语言（Structured Query Language，SQL）接口或者开放数据库互连（Open Database Connectivity，ODBC）接口的，现在的SQL接口或者ODBC接口每次只能处理一条SQL（访问请求），无法一次对多个SQL进行处理，所以有多少次操作就需要和对应的子MDB进行多少次通信，导致每次只能操作一条SQL。当需要处理多条SQL时，SQL接口或者ODBC接口之间的通信次数较多，从而使得外层应用的访问效率较低。

发明内容

本发明的实施例提供一种数据的处理方法及系统，用于解决外层应用的访问效率较低的问题。

一方面，本发明的实施例提供一种数据的处理方法，包括：

通信模块接收业务处理模块发送的访问请求包；

所述通信模块调用拆分合并Mapreduce插件对所述访问请求包进行拆分处理，得到至少一个访问请求以及每个访问请求对应的路由信息；

所述通信模块通过每个访问请求对应的路由信息将每个访问请求并行的发送给每个访问请求对应的子内存数据库MDB中，所述子MDB为将总MDB经过水平拆分之后的MDB；

所述通信模块接收各个子MDB发送的应答结果，并调用所述Mapreduce插件将各个应答结果进行合并处理，将合并之后的应答结果包发送给所述业务处理模块。

在本发明的另一实施例中，所述通信模块调用Mapreduce插件对所述访问请求包进行拆分处理，得到至少一个访问请求以及每个访问请求对应的路由信息，包括：

所述通信模块向所述Mapreduce插件发送拆分调用指令，所述拆分调用指令用于指示所述Mapreduce插件对所述访问请求包进行所述拆分处理；

所述Mapreduce插件采用拆分规则对所述访问请求包进行拆分，得到所述至少一个访问请求；

所述Mapreduce插件查询路由策略，获得每个访问请求对应的路由信息；

所述Mapreduce插件将所述至少一个访问请求和每个访问请求对应的路由信息提供给所述通信模块。

在本发明的另一实施例中，在所述通信模块接收各个子MDB发送的应答结果之前，所述方法还包括：

所述各个子MDB接收所述通信模块发送的访问请求，通过接收的所述访问请求查找所述访问请求需要的数据信息；

所述各个子MDB并行的向所述通信模块发送所述各个子MDB对应的应答结果，所述各个子MDB对应的应答结果中包括所述访问请求需要的数据信息。

在本发明的另一实施例中，在所述通信模块接收各个子MDB发送的应答结果之后，所述方法还包括：

所述通信模块检测所述各个子MDB发送的应答结果的数据信息是否完整；

当所述各个子MDB发送的应答结果的数据信息完整时，调用所述Mapreduce插件将各个应答结果进行合并处理，将合并之后的应答结果包发送给所述业务处理模块；

当所述各个子MDB发送的应答结果的数据信息不完整时，向所述业务处理模块发送出错应答结果。

另一方面，本发明的实施例提供一种数据的处理系统，包括：

通信模块，用于接收业务处理模块发送的访问请求包；调用拆分合并Mapreduce插件对所述访问请求包进行拆分处理，得到至少一个访问请求以及每个访问请求对应的路由信息；通过每个访问请求对应的路由信息将每个访问请求并行的发送给每个访问请求对应的子内存数据库MDB中，所述子MDB为将总MDB经过水平拆分之后的MDB；接收各个子MDB发送的应答结果，并调用所述Mapreduce插件将各个应答结果进行合并处理，将合并之后的应答结果包发送给所述业务处理模块；

所述业务处理模块，用于向所述通信模块发送所述访问请求包；接收所述通信模块发送的合并之后的所述应答结果包。

在本发明的另一实施例中，所述系统还包括：所述Mapreduce插件；