[发明专利]数据处理方法、装置、设备和存储介质在审
申请号: | 201911013786.X | 申请日: | 2019-10-23 |
公开(公告)号: | CN112699140A | 公开(公告)日: | 2021-04-23 |
发明(设计)人: | 吕政;金天波;沈国权;谢小龙 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/242 | 分类号: | G06F16/242;G06F16/2453;G06F16/2458 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 钱秀茹 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
对所述查询语句对应的算子进行估计,确定所述算子在不同处理器的执行成本;
依据所述处理器的压力数据和所述算子在不同处理器的执行成本,确定执行所述查询语句的处理器。
2.根据权利要求1所述的方法,其特征在于,所述对所述查询语句对应的算子进行估计,确定所述算子对应的执行成本,包括:
按照处理器,确定所述算子的计算代价和数据获取代价;
依据所述计算代价和数据获取代价的和,确定所述算子对应所述处理器的执行成本。
3.根据权利要求2所述的方法,其特征在于,确定所述算子的计算代价的步骤包括:
确定所述算子对应数据量和选择的线性模型;
将所述数据量输入所述线性模型,确定所述算子的计算代价。
4.根据权利要求2所述的方法,其特征在于,确定所述算子的数据获取代价的步骤包括:
将读取的数据量和系统磁盘的读取带宽之间的比值,作为所述算子的数据获取代价;和/或,
将读取的数据量和总线的读取带宽之间的比值,与所述总线传输的固定成本的和值,作为所述算子的数据获取代价。
5.根据权利要求2所述的方法,其特征在于,所述依据所述处理器的压力数据和所述算子在不同处理器的执行成本,确定执行所述查询语句的处理器,包括:
若所述不同处理器的压力数据满足第一压力条件,则根据所述算子在不同处理器的执行成本确定执行路径,依据所述执行路径确定执行所述查询语句的处理器;
若所述不同处理器的压力数据满足第二压力条件,则依据所述算子在不同处理器的执行成本,选择目标处理器执行所述查询语句。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
确定查询语句对应的查询树。
7.根据权利要求6所述的方法,其特征在于,还包括:
依据所述算子在不同处理器的执行成本,确定所述查询树在不同处理器的执行性能信息。
8.根据权利要求7所述的方法,其特征在于,依据所述算子在不同处理器的执行成本,确定所述查询树在不同处理器的执行性能信息,包括:
按照处理器对所述算子的执行成本进行累加,得到所述查询树对应所述处理器的执行性能信息。
9.根据权利要求7所述的方法,其特征在于,还包括:
按照设定规则,对所述查询树中节点进行融合。
10.根据权利要求6或9所述的方法,其特征在于,所述根据所述算子在不同处理器的执行成本确定执行路径,依据所述执行路径确定执行所述查询语句的处理器,包括:
依据所述算子在所述查询树中对应的节点和所述算子在不同处理器的执行成本,确定对应的执行路径;
按照所述执行路径,确定执行所述查询语句的处理器。
11.根据权利要求8所述的方法,其特征在于,所述依据所述算子在不同处理器的执行成本,选择目标处理器执行所述查询语句,包括:
将压力数据未超过阈值的处理器作为目标处理器,采用所述目标处理器执行该查询语句;或,
对于压力数据未超过阈值的处理器,若查询语句在该处理器的执行性能信息和另一处理器的执行性能信息的比值小于比例阈值,则将所述压力数据未超过阈值的处理器作为目标处理器,采用所述目标处理器执行该查询语句。
12.一种数据处理方法,其特征在于,所述方法包括:
确定查询语句对应的查询树;
对所述查询语句对应的算子进行估计,确定所述算子对应的执行成本;
依据所述算子的执行成本,确定所述查询树的执行性能信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911013786.X/1.html,转载请声明来源钻瓜专利网。