[发明专利]一种数据处理方法、装置、设备及存储介质在审
| 申请号： | 201910778769.9 | 申请日： | 2019-08-22 |
| 公开（公告）号： | CN110442635A | 公开（公告）日： | 2019-11-12 |
| 发明（设计）人： | 刘新;张小琼 | 申请（专利权）人： | 深圳市元征科技股份有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25 |
| 代理公司： | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人： | 王兆林 |
| 地址： | 518000 广东省深圳市龙*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种数据处理方法、装置、设备及存储介质。该方法的步骤包括：接收以流数据方式传入的待处理数据；将待处理数据输入至Spark Streaming计算框架；调用Spark Streaming计算框架根据ETL数据处理逻辑对待处理数据执行相应的数据处理操作。由于Spark Streaming计算框架具有分布式计算的特性，能够在相同时刻并行执行对于不同待处理数据的处理，因此Spark Streaming计算框架的数据处理效率相对较高，因此相对确保了对于流数据中海量数据进行处理时的处理效率。此外，本申请还提供了一种数据处理装置、设备及存储介质，有益效果同上所述。 | ||
| 搜索关键词： | 待处理数据 存储介质 数据处理 流数据 数据处理操作 数据处理逻辑 数据处理效率 数据处理装置 分布式计算 并行执行 处理数据 处理效率 传入的 调用 申请 | ||
【主权项】：
1.一种数据处理方法，其特征在于，包括：接收以流数据方式传入的待处理数据；将所述待处理数据输入至Spark Streaming计算框架；调用所述Spark Streaming计算框架根据ETL数据处理逻辑对所述待处理数据执行相应的数据处理操作。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市元征科技股份有限公司，未经深圳市元征科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910778769.9/，转载请声明来源钻瓜专利网。
- 上一篇：数据存储的方法及装置
- 下一篇：一种数据的读写方法、装置及数据读写设备
