[发明专利]计划优化方法、装置、系统及计算机可读存储介质在审
申请号: | 201910322178.0 | 申请日: | 2019-04-19 |
公开(公告)号: | CN110059107A | 公开(公告)日: | 2019-07-26 |
发明(设计)人: | 张永飞;侯良伟;杨尧;王诗强 | 申请(专利权)人: | 成都四方伟业软件股份有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 徐丽 |
地址: | 610000 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种计划优化方法、装置、系统及计算机可读存储介质,涉及大数据技术领域,该方法包括:根据预设的计划查询节点对本地计划的状态进行查询;当查询到准备执行本地计划时,基于本地计划中预设的分区参数确定按照自适应优化规则在分区中执行本地计划;其中,自适应优化规则为基于可配置的数据处理门限和计划执行过程中的元数据对计划进行重新分区的规则;基于自适应优化规则,采集本地计划在各分区执行过程中的元数据,根据采集到的元数据和数据处理门限对本地计划的执行分区进行优化。本发明可以实现对计划的动态调整,改善各分区处理数据倾斜的问题,从而提高集群资源利用率和SQL的运行性能。 | ||
搜索关键词: | 优化规则 元数据 自适应 分区 计算机可读存储介质 计划优化 数据处理 门限 预设 采集 查询 查询节点 动态调整 分区参数 分区处理 集群资源 计划执行 可配置的 运行性能 大数据 优化 | ||
【主权项】:
1.一种计划优化方法,其特征在于,包括:根据预设的计划查询节点对本地计划的状态进行查询;当查询到准备执行所述本地计划时,基于本地计划中预设的分区参数确定按照自适应优化规则在分区中执行所述本地计划;其中,所述自适应优化规则为基于可配置的数据处理门限和计划执行过程中产生的元数据而对计划进行重新分区的规则;基于所述自适应优化规则,采集所述本地计划在各分区执行过程中的元数据,根据采集到的所述元数据和数据处理门限对所述本地计划的执行分区进行优化。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都四方伟业软件股份有限公司,未经成都四方伟业软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910322178.0/,转载请声明来源钻瓜专利网。