[发明专利]一种参数配置方法和设备有效
| 申请号： | 201810385919.5 | 申请日： | 2018-04-26 |
| 公开（公告）号： | CN110427356B | 公开（公告）日： | 2021-08-13 |
| 发明（设计）人： | 邵明路;王蕊;王衎;宋哲;张雨晴 | 申请（专利权）人： | 中移（苏州）软件技术有限公司;中国移动通信集团有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215 |
| 代理公司： | 北京同达信恒知识产权代理有限公司 11291 | 代理人： | 郭润湘 |
| 地址： | 215163 江*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种参数配置方法和设备，用以实现处理批量SPARK数据清洗任务时参数配置问题。本发明实施例确定接收到的SPARK数据清洗任务的数据量以及SPARK数据清洗任务对应的SPARK数据清洗程序中包含的至少一个原子操作，根据基准数据和期望执行时间训练出不同原子操作基准参数数值，再根据基准参数数值、SPARK数据清洗任务的数据量以及SPARK数据清洗程序中的至少一个原子操作，确定SPARK数据清洗任务的基本资源配置参数。通过SPARK数据清洗程序中包含的原子操作，训练出不同原子操作的参数配置，再根据组成不同SPARK数据清洗程序的至少一个原子操作的参数配置，确定不同SPARK数据清洗任务的参数配置，因此处理批量SPARK数据清洗任务时，参数可以自动配置，从而提高了SPARK的性能。 | ||
| 搜索关键词： | 一种 参数 配置 方法 设备 | ||
【主权项】：
1.一种参数配置方法，其特征在于，该方法包括：确定接收到的快速通用的计算引擎SPARK数据清洗任务的数据量以及所述SPARK数据清洗任务对应的SPARK数据清洗程序中包含的至少一个原子操作；根据基准参数数值、所述SPARK数据清洗任务的数据量以及所述SPARK数据清洗任务对应的SPARK数据清洗程序中包含的至少一个原子操作，确定所述SPARK数据清洗任务的基本资源配置参数；其中，所述基准参数数值是在包括至少一个计算节点的限定集群环境下，根据基准数据和期望执行时间训练出的不同原子操作在所述基准数据下的基准参数数值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中移（苏州）软件技术有限公司;中国移动通信集团有限公司，未经中移（苏州）软件技术有限公司;中国移动通信集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810385919.5/，转载请声明来源钻瓜专利网。
