[发明专利]处理数据的方法及装置

说明书

本发明提供一种处理数据的方法及装置，具有处理效率高，扩展性好等优点。本发明的处理数据的方法包括：根据多个集群中的多个业务数据库建立MariaDB报表库，其中多个业务数据库具有相同的表结构；建立MariaDB报表库和报表应用之间的数据源；根据接收到的查询多个集群中的单个集群的第一结构化查询语言语句，确定查询多个集群中的所有集群的总结构化查询语言语句；根据总结构化查询语言语句通过数据源进行查询，得到目标数据。

技术领域

本发明涉及计算机技术领域，特别地涉及一种处理数据的方法及装置。

背景技术

目前大型高并发的网站通常会采用分布式方式来部署系统，这样可以提高网站的访问效率和吞吐量。分布式系统的底层包括多个业务数据库，这些业务数据库被划分为多个集群，这些业务数据库之上有报表应用层。但是，现有技术的方案也具有如下缺点：例如需要查询多个数据库，建立多个数据源，效率上比较低；按条件查询的时候需要先收集到所有的数据后再从数据中进行过滤数据，当数据量大时性能较低；当集群数目有增减时，需要手动修改代码达到扩展集群的目的，扩展性差。

发明内容

有鉴于此，本发明提供一种处理数据的方法和装置，具有处理效率高、扩展性好的优点。

为实现上述目的，根据本发明的一个方面，提供了一种处理数据的方法。

本发明的处理数据的方法包括：根据多个集群中的多个业务数据库建立MariaDB报表库，其中所述多个业务数据库具有相同的表结构；建立所述MariaDB报表库和报表应用之间的数据源；根据接收到的查询所述多个集群中的单个集群的第一结构化查询语言语句，确定查询所述多个集群中的所有集群的总结构化查询语言语句；根据所述总结构化查询语言语句通过所述数据源进行查询，得到目标数据。

可选地，所述根据接收到的查询所述多个集群中的单个集群的第一结构化查询语言语句，确定查询所述多个集群中的所有集群的总结构化查询语言语句的步骤包括：获取所有集群的名称；对接收到的所述第一结构化查询语言语句进行集群名称通配，得到查询所述多个集群中其他集群的第二结构化查询语言语句；拼接所述第一结构化查询语言语句和所有的所述第二结构化查询语言语句，得到所述总结构化查询语言语句。

可选地，所述获取所有集群的名称的步骤包括：获取记录集群与业务数据库之间映射关系的映射文件；从所述映射文件中提取所述所有集群的名称。

可选地，通过拦截器工具从所述映射文件中找到所述所有集群的名称。

根据本发明的另一方面，提供了一种处理数据的装置。

本发明的处理数据的装置包括：第一建立模块，用于根据所述多个集群中的多个业务数据库建立MariaDB报表库，其中所述多个业务数据库具有相同的表结构；第二建立模块，用于建立所述MariaDB报表库和报表应用之间的数据源；确定模块，用于根据接收到的查询所述多个集群中的单个集群的第一结构化查询语言语句，确定查询所述多个集群中的所有集群的总结构化查询语言语句；查询模块，用于根据所述总结构化查询语言语句通过所述数据源进行查询，得到目标数据。

可选地，所述确定模块还用于：获取所有集群的名称；对接收到的所述第一结构化查询语言语句进行集群名称通配，得到针对查询所述多个集群中其他集群的第二结构化查询语言语句；拼接所述第一结构化查询语言语句和所有的所述第二结构化查询语言语句，得到所述总结构化查询语言语句。

可选地，所述确定模块还用于：获取记录集群与业务数据库之间映射关系的映射文件；从所述映射文件中提取所述所有集群的名称。

可选地，所述确定模块还用于：通过拦截器工具从所述映射文件中找到所述所有集群的名称。

根据本发明的技术方案，通过建立MariaDB报表库，建立的是仅一个数据源，效率高；条件查询时先过滤后来进行汇总；集群扩展时，仅需修改映射文件，无需修改代码。