[发明专利]大数据处理方法、装置、电子设备及存储介质有效
| 申请号： | 202110123219.0 | 申请日： | 2021-01-29 |
| 公开（公告）号： | CN112764935B | 公开（公告）日： | 2023-06-30 |
| 发明（设计）人： | 孔小敏 | 申请（专利权）人： | 中国平安人寿保险股份有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F16/22 |
| 代理公司： | 深圳国新南方知识产权代理有限公司 44374 | 代理人： | 周纯 |
| 地址： | 518000 广东省深圳市福田区益田路5033号*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及数据处理技术领域，尤其涉及一种大数据处理方法、装置、电子设备及存储介质。本发明的大数据处理方法，当参与大数据处理任务的数据表中主键的数据量超过第一预设阈值时，将主键的数据划分为多组；根据大数据处理任务建立至少一个执行计划树，确定每个执行计划树的代价，将代价最低的执行计划树作为最优执行计划树；根据最优执行计划树以及历史任务的第二统计信息确定大数据处理任务的并发量和计算资源；通过上述方式，充分利用统计信息，将数据分布优化、代价优化以及基于历史优化相结合进行大数据处理，在消除数据倾斜后进行代价优化，将代价优化所得最优执行计划树按照历史任务的统计信息进行计算资源分配，最大限度节约计算资源。 | ||
| 搜索关键词： | 数据处理 方法 装置 电子设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司，未经中国平安人寿保险股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110123219.0/，转载请声明来源钻瓜专利网。
