[发明专利]基于MapReduce扩展框架的分布式SQL查询方法有效
申请号: | 201210209080.2 | 申请日: | 2012-06-19 |
公开(公告)号: | CN102799622A | 公开(公告)日: | 2012-11-28 |
发明(设计)人: | 王衎;高军;王腾蛟;杨冬青;唐世渭 | 申请(专利权)人: | 北京大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京君尚知识产权代理事务所(普通合伙) 11200 | 代理人: | 余长江 |
地址: | 100871*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及基于MapReduce扩展框架的分布式SQL查询方法,1)客户端发送查询请求到查询服务器模块QueryServer,所述查询服务器模块包括:SQL查询接口、SLQ解析模块和动态选择模块;2)所述SQL查询接口接收到查询请求,将所述请求发送到SQL解析模块,所述解析模块解析得到查询请求的语义;3)所述动态选择模块根据查询代价模型Cost Model和语义规则对该查询语义进行计算,预测出查询结果需要的存储空间,并选择MapReduce查询方式或内存查询方式;4)当查询结束,将本地查询结果上传至HDFS或数据处理服务器模块Data Processor。本发明基于内存的拓展框架,利用内存处理的方式处理SQL查询,在内存中完成数据处理,提高查询的效率。同时查询服务器模块实现与客户端的交互和查询处理方式的动态选择。 | ||
搜索关键词: | 基于 mapreduce 扩展 框架 分布式 sql 查询 方法 | ||
【主权项】:
一种基于MapReduce扩展框架的分布式SQL查询方法,其步骤为:1)客户端发送查询请求到查询服务器模块QueryServer,所述查询服务器模块包括:SQL查询接口、SLQ解析模块和动态选择模块;2)所述SQL查询接口接收到查询请求,将所述请求发送到SQL解析模块,所述解析模块解析得到查询请求的语义;3)所述动态选择模块根据查询代价模型Cost Model和语义规则对该查询语义进行计算,预测出查询结果需要的存储空间,并选择MapReduce查询方式或内存查询方式;3‑1)查询方式为MapReduce查询时,Job Tracker启动执行Map操作和Reduce操作;3‑2)当查询方式为内存查询时,Job Tracker启动Map操作,并将查询数据保存至本地服务器的内存表中;4)当查询结束,将本地查询结果上传至HDFS或数据处理服务器模块Data Processor。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201210209080.2/,转载请声明来源钻瓜专利网。