[发明专利]一种实时和离线大数据处理系统、方法、存储介质及终端在审
| 申请号： | 201910914660.3 | 申请日： | 2019-09-26 |
| 公开（公告）号： | CN110659323A | 公开（公告）日： | 2020-01-07 |
| 发明（设计）人： | 朱水斌;罗稳;刘建 | 申请（专利权）人： | 卓尔购信息科技(武汉)有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25 |
| 代理公司： | 42251 武汉谦源知识产权代理事务所(普通合伙) | 代理人： | 王力 |
| 地址： | 430312 湖北省武汉市黄陂区*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种实时和离线大数据处理系统、方法、存储介质及终端，其系统包括数据配置模块、数据采集模块、数据转换模块和数据输出模块；数据配置模块读取配置文件信息，并分别对数据采集模块、数据转换模块和数据输出模块进行配置；数据采集模块从离线或者实时数据流中抽取数据源，并转换为表格式的数据信息；数据转换模块对数据信息进行转换；数据输出模块将转换后的数据信息输出。本发明通过数据配置模块实现大数据处理的全程配置化管理，能处理多源多格式数据的采集,海量数据的转换，不同格式和不同数据存储格式的输出。减少企业学习成本和开发成本，加快企业部署大数据处理流程的过程，模块化和插件化设计,配置灵活,扩展简单，维护方便。 | ||
| 搜索关键词： | 数据采集模块 数据配置模块 数据输出模块 数据转换模块 数据信息 转换 离线 配置 读取 数据处理流程 数据处理系统 数据存储格式 实时数据流 输出 抽取数据 存储介质 海量数据 配置文件 维护方便 数据处理 多格式 模块化 插件 多源 采集 终端 全程 灵活 部署 开发 学习 管理 | ||
【主权项】：
1.一种实时和离线大数据处理系统，其特征在于，包括数据配置模块、数据采集模块、数据转换模块和数据输出模块；/n所述数据配置模块，用于读取配置文件信息，并根据所述配置文件信息分别对所述数据采集模块、数据转换模块和数据输出模块进行配置；/n所述数据采集模块，用于根据所述配置文件信息调用对应的插件从离线或者实时数据流中抽取数据源，并转换为表格式的数据信息；/n所述数据转换模块，用于根据所述配置文件信息对所述数据信息进行转换；/n所述数据输出模块，用于根据所述配置文件信息对转换后的所述数据信息输出至外部数据库或者文件系统。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于卓尔购信息科技(武汉)有限公司，未经卓尔购信息科技(武汉)有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910914660.3/，转载请声明来源钻瓜专利网。
