[发明专利]大数据处理系统及方法

说明书

本发明公开了一种大数据处理系统及方法。其中，系统包括：服务接口，提供至少一种对外调用方式，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；解析模块，适于对查询语句进行语法解析及校验，生成逻辑查询计划；路由模块，适于根据逻辑查询计划，确定与逻辑查询计划相对应的计算引擎和/或存储引擎，并将查询语句路由至计算引擎和/或存储引擎；多个计算引擎及多个存储引擎，适于根据路由模块路由的查询语句，执行对应的查询处理，获得并输出查询结果。采用本方案，用户仅通过输入的特定语言格式的查询语句便可实现对大数据的处理，从而将用户的业务逻辑与计算引擎及存储引擎解耦，降低用户的学习成本，提升用户体验。

技术领域

本发明涉及计算机技术领域，具体涉及一种大数据处理系统及方法。

背景技术

随着科技及社会的不断发展，各类数据呈井喷式地增长，同时也使得大量的大数据平台不断涌现，人们通过大数据平台可实现对海量数据的处理。

目前的大数据平台，仍需用户自行选择数据查询所需的计算引擎和/或存储引擎，进而根据选择的计算引擎和/或存储引擎的引擎特点及语法规则等编译相应的执行代码，从而实现对数据的查询。

然而，采用现有的大数据平台，用户需学习大量的计算引擎及存储引擎知识，从而大幅增加用户的学习成本，降低用户体验；并且，现今科技发展迅速，计算引擎及存储引擎迭代更新较快，现有的大数据平台在加大用户学习成本的同时，也易发生因用户对计算引擎或存储引擎认知不足，而导致选择的计算引擎或存储引擎与实际的业务逻辑不匹配的情况，从而降低数据处理效率的弊端；此外，由于现有的大数据平台数据处理逻辑与计算引擎或存储引擎耦合过密，当计算引擎或存储引擎发生更换时，需重新编译代码，从而提高业务的维护成本。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的大数据处理系统及方法。

根据本发明的一个方面，提供了一种大数据处理系统，包括：

服务接口，提供至少一种对外调用方式，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；

解析模块，适于对所述查询语句进行语法解析及校验，生成逻辑查询计划；

路由模块，适于根据所述逻辑查询计划，确定与所述逻辑查询计划相对应的至少一个计算引擎和/或至少一个存储引擎，并将所述查询语句路由至所述至少一个计算引擎和/或至少一个存储引擎；

多个计算引擎以及多个存储引擎，适于根据路由模块路由的查询语句，执行对应的查询处理，获得并输出查询结果。

根据本发明的另一方面，提供了一种大数据处理方法，包括：

提供至少一种对外调用方式，并接收利用任一种对外调用方式输入的特定语言格式的查询语句；

对所述查询语句进行语法解析及校验，生成逻辑查询计划；

根据所述逻辑查询计划，确定与所述逻辑查询计划相对应的至少一个计算引擎和/或至少一个存储引擎，并将所述查询语句路由至所述至少一个计算引擎和/或至少一个存储引擎；

多个计算引擎以及多个存储引擎根据路由的查询语句，执行对应的查询处理，获得并输出查询结果。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述大数据处理方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述大数据处理方法对应的操作。