[发明专利]一种基于Sparkstreaming实时处理大批量数据的方法在审
| 申请号： | 202011111738.7 | 申请日： | 2020-10-16 |
| 公开（公告）号： | CN112307099A | 公开（公告）日： | 2021-02-02 |
| 发明（设计）人： | 李佳喜;刘跃红;管正爽;黄位友 | 申请（专利权）人： | 银盛支付服务股份有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F9/54;H04L29/08 |
| 代理公司： | 深圳市深可信专利代理有限公司 44599 | 代理人： | 张勇 |
| 地址： | 518000 广东省深圳市龙华*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种基于Sparkstreaming实时处理大批量数据的方法，涉及数据处理技术领域；该方法包括以下的步骤：S1、大批量实时数据的推送，业务流程系统实时产生大批量业务数据，并实时推送到kafka集群，形成kafka数据队列；S2、数据的ETL处理，spark集群通过消费kafka集群数据进行数据ETL处理；S3、Apollo整合Sparkstreaming程序配置，包括集群搭建Apollo工具的步骤、配置Apollo工具整合Sparkstreaming程序的步骤以及使用Apollo配置的步骤；S4、Sparkstreaming程序计算后写入mongodb，通过实时程序消费kafka数据队列后，计算的结果写入mongodb，进行存储；S5、sparkstreaming程序提交spark集群执行；本发明的有益效果是：采用SparkStreaming框架处理大批量数据的速度快，避免出现kafka数据积压的问题。 | ||
| 搜索关键词： | 一种 基于 sparkstreaming 实时处理 大批量 数据 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于银盛支付服务股份有限公司，未经银盛支付服务股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011111738.7/，转载请声明来源钻瓜专利网。
