[发明专利]大数据处理系统及方法在审
申请号: | 201811428198.8 | 申请日: | 2018-11-27 |
公开(公告)号: | CN111221842A | 公开(公告)日: | 2020-06-02 |
发明(设计)人: | 刘思源;朱海龙;李铭;徐胜国;徐皓;李铮 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F16/242 | 分类号: | G06F16/242;G06F16/25;G06F16/2455;G06F16/245;G06F16/2453 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 宋菲;刘云贵 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理系统 方法 | ||
1.一种大数据处理系统,包括:
服务接口,提供至少一种对外调用方式,适于接收利用任一种对外调用方式输入的特定语言格式的查询语句;
解析模块,适于对所述查询语句进行语法解析及校验,生成逻辑查询计划;
路由模块,适于根据所述逻辑查询计划,确定与所述逻辑查询计划相对应的至少一个计算引擎和/或至少一个存储引擎,并将所述查询语句路由至所述至少一个计算引擎和/或至少一个存储引擎;
多个计算引擎以及多个存储引擎,适于根据路由模块路由的查询语句,执行对应的查询处理,获得并输出查询结果。
2.根据权利要求1所述的系统,其中,所述解析模块还适于:判断所述查询语句是否为混合查询语句;若否,则生成单数据查询计划;若是,则生成混合查询计划。
3.根据权利要求2所述的系统,其中,所述解析模块进一步适于:判断所述查询语句是否为多数据源查询语句。
4.根据权利要求2所述的系统,其中,所述路由模块进一步适于:根据单数据查询计划,确定与所述单数据查询计划相对应的至少一个存储引擎;将所述查询语句路由至所述至少一个存储引擎。
5.根据权利要求2所述的系统,其中,所述路由模块进一步适于:
根据混合查询计划,确定与所述混合查询计划相对应的至少一个存储引擎和至少一个计算引擎;将所述查询语句路由至所述至少一个存储引擎和至少一个计算引擎,以供所述至少一个存储引擎依据所述查询语句进行查询处理得到中间查询结果,所述至少一个计算引擎依据所述中间查询结果进行计算处理得到最终的查询结果。
6.根据权利要求4或5所述的系统,其中,所述系统还包括:
适配模块,适于判断所述至少一个存储引擎是否支持以所述特定语言格式进行查询处理;若否,则在将所述查询语句路由至所述至少一个存储引擎之前,将所述查询语句进行转换处理。
7.根据权利要求1-6中任一项所述的系统,其中,所述解析模块还适于:依据优化规则对逻辑查询计划进行查询优化。
8.一种大数据处理方法,包括:
提供至少一种对外调用方式,并接收利用任一种对外调用方式输入的特定语言格式的查询语句;
对所述查询语句进行语法解析及校验,生成逻辑查询计划;
根据所述逻辑查询计划,确定与所述逻辑查询计划相对应的至少一个计算引擎和/或至少一个存储引擎,并将所述查询语句路由至所述至少一个计算引擎和/或至少一个存储引擎;
多个计算引擎以及多个存储引擎根据路由的查询语句,执行对应的查询处理,获得并输出查询结果。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的大数据处理方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的大数据处理方法对应的操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811428198.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于大数据的实时处理方法及装置
- 下一篇:3D感测装置及电子装置