[发明专利]一种基于flume系统的数据处理方法及其装置有效
| 申请号： | 201610581729.1 | 申请日： | 2016-07-21 |
| 公开（公告）号： | CN106250410B | 公开（公告）日： | 2020-01-07 |
| 发明（设计）人： | 徐沛 | 申请（专利权）人： | 深圳软通动力信息技术有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/25 |
| 代理公司： | 44288 广州市越秀区哲力专利商标事务所(普通合伙) | 代理人： | 陈振楔;李悦 |
| 地址： | 518019 广东省深圳市罗湖区*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于flume系统的数据处理方法及其装置，该方法应用于数据清洗系统，包括如下步骤：S1、source层从数据源采集原始数据；S2、source层将采集到的原始数据发送至channel层；S3、channel层将原始数据发送至数据清洗模块；S4、channel层从数据清洗模块获取目标数据；S5、sink层从channel层获取目标数据；S6、sink层将目标数据发送至接收方。本发明的优点在于通过将flume系统的在source层中的清洗功能剥离至flume系统外的数据清洗模块中，提高source层的数据采集效率，减少了对生产机器的损耗。 | ||
| 搜索关键词： | 一种 基于 flume 系统 数据处理 方法 及其 装置 | ||
【主权项】：
1.一种基于flume系统的数据处理方法，应用于数据清洗系统，其特征在于，包括如下步骤：/nS1、source层从数据源采集原始数据；/nS2、source层将采集到的原始数据发送至channel层；/nS3、channel层将原始数据发送至数据清洗模块；/nS4、channel层从数据清洗模块获取目标数据；/nS5、sink层从channel层获取目标数据；/nS6、sink层将目标数据发送至接收方；/n当存在多个flume系统将原始数据从channel层中输送至数据清洗模块进行数据清洗时，数据清洗模块可以根据每个flume系统的负载不同，将清洗完的数据发送至负载较低的flume系统中，数据清洗模块可以为flume系统提供负载均衡。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳软通动力信息技术有限公司，未经深圳软通动力信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610581729.1/，转载请声明来源钻瓜专利网。
