[发明专利]基于Spark计算引擎的多源异构数据读取方法及装置有效
| 申请号： | 201910981513.8 | 申请日： | 2019-10-16 |
| 公开（公告）号： | CN110851513B | 公开（公告）日： | 2021-06-08 |
| 发明（设计）人： | 周朝卫 | 申请（专利权）人： | 中盈优创资讯科技有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/28;G06F16/22;G06F9/445 |
| 代理公司： | 北京三友知识产权代理有限公司 11127 | 代理人： | 薛平;谷敬丽 |
| 地址： | 100872 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Spark计算引擎的多源异构数据读取方法及装置，该方法包括：获取Spark计算引擎读取一种或多种数据源的配置文件，其中，配置文件中包含多个插件，每个插件对应一种数据源的配置项；根据配置文件，返回一个插件对象列表，其中，插件对象列表中每个插件对象对应一种数据源的插件；基于插件对象列表，根据Spark计算引擎读取一种或多种数据源的源数据，返回Spark计算引擎读取的一种或多种数据源的DataFrame数据。本发明基于配置和插件的方式，实现Spark计算引擎对多源异构数据的读取，管理方便，扩展性强。 | ||
| 搜索关键词： | 基于 spark 计算 引擎 多源异构 数据 读取 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中盈优创资讯科技有限公司，未经中盈优创资讯科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910981513.8/，转载请声明来源钻瓜专利网。
