[发明专利]并行度的确定方法、装置、设备及介质有效
| 申请号： | 201811436295.1 | 申请日： | 2018-11-28 |
| 公开（公告）号： | CN109558232B | 公开（公告）日： | 2019-08-23 |
| 发明（设计）人： | 陈振强;熊仲健;刘汪根 | 申请（专利权）人： | 星环信息科技（上海）有限公司 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48;G06F9/50 |
| 代理公司： | 北京品源专利代理有限公司 11332 | 代理人： | 孟金喆 |
| 地址： | 200233 上海市*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种并行度的确定方法、装置、设备及介质。该方法包括：获取分布式计算任务的执行计划树；根据预设的代价模型以及所述分布式计算任务的数据统计信息分别确定与执行计划树中各节点对应的操作的并行度影响因子；根据预设的代价模型以及分布式计算任务的数据统计信息，确定执行计划树中扫表操作的初始并行度；根据扫表操作的初始并行度，按照后序遍历顺序，根据与执行计划树中各节点对应的操作的并行度影响因子，分别计算与执行计划树中各节点对应的操作的并行度。上述方法避免了现有技术中并行度控制方案的弊端，提高了分布式计算引擎的性能、稳定性和可用性，实现了并行度控制的自适应。 | ||
| 搜索关键词： | 并行度 分布式计算 数据统计信息 影响因子 表操作 预设 后序遍历 可用性 自适应 引擎 | ||
【主权项】：
1.一种并行度的确定方法，其特征在于，包括：获取分布式计算任务的执行计划树，其中，所述执行计划树的根节点对应所述执行计划中的输出操作，所述执行计划树的至少一个叶子节点对应所述执行计划中的扫表操作；根据预设的代价模型以及所述分布式计算任务的数据统计信息分别确定与所述执行计划树中各节点对应的操作的并行度影响因子；其中，所述根据预设的代价模型以及所述分布式计算任务的数据统计信息分别确定与所述执行计划树中各节点对应的操作的并行度影响因子，具体包括：根据预设的代价模型以及所述分布式计算任务的数据统计信息分别确定与所述执行计划树中各节点对应的操作的初始并行度影响因子；根据预设的映射规则对各所述初始并行度影响因子进行拟合，得到与所述执行计划树中各节点对应的操作的并行度影响因子；根据预设的代价模型以及所述分布式计算任务的数据统计信息，确定扫表操作的初始并行度；其中，所述根据预设的代价模型以及所述分布式计算任务的数据统计信息，确定扫表操作的初始并行度，具体包括：根据预设的代价模型以及所述分布式计算任务中映射端的数据处理量，计算扫表操作的初始并行度；根据所述扫表操作的初始并行度，按照后序遍历顺序，根据与所述执行计划树中各节点对应的操作的并行度影响因子，分别计算与所述执行计划树中各节点对应的操作的并行度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于星环信息科技（上海）有限公司，未经星环信息科技（上海）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811436295.1/，转载请声明来源钻瓜专利网。
