[发明专利]数据处理方法及系统

说明书

本发明实施例公开了一种数据处理方法及系统。其中，数据处理方法包括：当主服务器接收到用户输入的数据处理请求时，基于所述数据处理请求生成由至少一个操作符组成的执行计划树；主服务器在根据执行计划树执行与各操作符对应的操作时，如果判断出当前操作符所对应的操作满足预设条件，则将操作符以及与操作符对应的数据发送到至少一个辅助服务器进行数据处理；主服务器接收辅助服务器对数据的处理结果，并根据执行计划树对处理结果进行整合处理。上述技术方案解决了现有数据处理方法中通过扩容来提升数据处理能力且扩容操作复杂耗时的问题，优化了现有的数据库的数据处理方法，实现了对数据库数据的弹性处理及高效处理。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法及系统。

背景技术

很多关系数据库的操作，如排序、分类聚合、连接等需要消耗大量的内存和CPU资源，当数据量非常大时，单机的处理能力是不能满足要求的。

传统的解决办法是采用大规模并行处理集群，即所谓的数据库大规模并行处理(massively parallel processing，MPP)集群，其核心思想是：把数据通过某种方式，比如按照表中一些字段的散列值把数据分散到集群的各个节点上，执行时由多个节点协同工作，实现海量数据下的复杂结构化查询语言(Structured Query Language，SQL)功能。但是，MPP集群的缺点是架构不灵活，无论增加或者减少节点都非常困难。因为涉及数据的重新分布，当数据量达到TB级时，重分布数据是一个非常耗时的过程，在线扩容也严重影响对外提供持续的服务能力。

对于共享存储数据库集群(典型的如Oracle RAC)，增加新节点需要复杂的配置过程，集群升级通常需要专业的数据库管理员(Database Administrator，DBA)支持以避免潜在的风险，而且也不能提升单个复杂SQL的处理能力。

随着互联网、大数据等的兴起，为了解决数据库的扩容问题，很多分布式数据库方案被提出，如基于KEY/VALUE模型的NOSQL数据库系统以及基于消息中间件的分库分表模型等。这些模型都要求把原来的一些关系数据库的基本特性，如复杂SQL能力提升到应用层，而且其扩容主要是针对数据库的容量，其扩容过程也比较复杂。

发明内容

本发明实施例提供了一种数据处理方法及系统，解决了现有数据库数据处理方法中通过扩容来提升数据处理能力且扩容操作复杂耗时的问题，以实现对数据库中的数据的高效处理。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

当主服务器接收到用户输入的数据处理请求时，基于所述数据处理请求生成由至少一个操作符组成的执行计划树；

所述主服务器在根据所述执行计划树执行与各操作符对应的操作时，如果所述主服务器判断出当前操作符所对应的操作满足预设条件，则所述主服务器将所述当前操作符以及与所述当前操作符对应的数据发送到至少一个辅助服务器进行数据处理；

所述主服务器接收所述辅助服务器对所述数据的处理结果，并根据所述执行计划树对所述处理结果进行整合处理。

进一步地，在主服务器将所述操作符以及与所述操作符对应的数据发送到至少一个辅助服务器进行数据处理之前，还包括：

主服务器将服务器调用请求发送给注册模块，并接收所述注册模块反馈的与所述服务器调用请求对应的至少一个辅助服务器的配置信息；其中，所述注册模块包括主服务器或注册服务器。

进一步地，所述方法还包括：

当辅助服务器启动时，所述辅助服务器向注册模块发送注册请求；

注册模块接收所述注册请求，并在当前活动的辅助服务器清单中存储所述服务器的配置信息。

进一步地，所述判断出当前操作符所对应的操作满足预设条件，包括：