[发明专利]一种基于Spark SQL的计算下推查询优化方法在审
| 申请号： | 202110885275.8 | 申请日： | 2021-08-03 |
| 公开（公告）号： | CN113704296A | 公开（公告）日： | 2021-11-26 |
| 发明（设计）人： | 魏力 | 申请（专利权）人： | 浪潮云信息技术股份公司 |
| 主分类号： | G06F16/2453 | 分类号： | G06F16/2453;H04L29/06;G06F9/50 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 冯春连 |
| 地址： | 250100 山东省济南市高*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于Spark SQL的计算下推查询优化方法，涉及数据处理技术领域，包括：ZNBase数据库的存储层和ZBSpark客户端；存储层用于提供数据的集中存储和管理，可以多节点部署，并支持分布式管理；ZBSpark客户端基于Apace Spark平台，用于通过SSL gRPC协议与ZNBase数据库的存储层进行数据传输；ZBSpark客户端中构建有PushDownExpr，有Spark SQL语句输入时，ZBSpark客户端首先对Spark SQL语句进行词法解析、语法分析以及语义分析，随后生成并执行逻辑计划和物理计划，并通过改写可扩展优化器Catalyst将操作符进行规则匹配，进而添加到PushDownExpr中，再随后ZBSpark客户端通过SSL gRPC协议将PushDownExpr传输到存储层，存储层通过PushDownExpr完成数据预处理，并返回至ZBSpark客户端。本发明可以减少IO、内存占用，提高ZBSpark客户端分析海量数据的性能。 | ||
| 搜索关键词： | 一种 基于 spark sql 计算 下推 查询 优化 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮云信息技术股份公司，未经浪潮云信息技术股份公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110885275.8/，转载请声明来源钻瓜专利网。
