[发明专利]数据处理方法、装置、计算机设备及存储介质有效
| 申请号： | 201811188080.2 | 申请日： | 2018-10-12 |
| 公开（公告）号： | CN109325034B | 公开（公告）日： | 2023-10-20 |
| 发明（设计）人： | 陈健鹏;伍文岳 | 申请（专利权）人： | 平安科技（深圳）有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F3/06 |
| 代理公司： | 深圳市精英专利事务所 44242 | 代理人： | 林燕云 |
| 地址： | 518000 广东省深圳市福田区福*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及大数据技术领域，应用于分布式系统，并公开了一种数据处理方法、装置、计算机设备及存储介质，该方法包括：扫描数据表以读取待处理数据，根据数据类型对所述待处理数据进行分类以得到多个键值数据；计算每个所述键值数据的占比系数，判断所述占比系数是否大于预设系数阈值；若所述占比系数大于所述预设系数阈值，触发启动保存于所述分布式系统中的预设Map‑Reduce处理逻辑以将所述键值数据分成多份数据块；根据所述数据块生成Map任务并发送至Reduce以完成对所述待处理数据的处理。该方法可解决大数据处理时产生的数据倾斜现象。 | ||
| 搜索关键词： | 数据处理 方法 装置 计算机 设备 存储 介质 | ||
【主权项】：
1.一种数据处理方法，应用于分布式系统，其特征在于，包括：扫描数据表以读取待处理数据，根据数据类型对所述待处理数据进行分类以得到多个键值数据；计算每个所述键值数据的占比系数，判断所述占比系数是否大于预设系数阈值；若所述占比系数大于所述预设系数阈值，触发启动保存于所述分布式系统中的预设Map‑Reduce处理逻辑以将所述键值数据分成多份数据块；根据所述数据块生成Map任务并发送至Reduce以完成对所述待处理数据的处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于平安科技（深圳）有限公司，未经平安科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811188080.2/，转载请声明来源钻瓜专利网。
