[发明专利]一种实时和离线大数据处理系统、方法、存储介质及终端

说明书

本发明涉及一种实时和离线大数据处理系统、方法、存储介质及终端，其系统包括数据配置模块、数据采集模块、数据转换模块和数据输出模块；数据配置模块读取配置文件信息，并分别对数据采集模块、数据转换模块和数据输出模块进行配置；数据采集模块从离线或者实时数据流中抽取数据源，并转换为表格式的数据信息；数据转换模块对数据信息进行转换；数据输出模块将转换后的数据信息输出。本发明通过数据配置模块实现大数据处理的全程配置化管理，能处理多源多格式数据的采集,海量数据的转换，不同格式和不同数据存储格式的输出。减少企业学习成本和开发成本，加快企业部署大数据处理流程的过程，模块化和插件化设计,配置灵活,扩展简单，维护方便。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种实时和离线大数据处理系统、方法、存储介质及终端。

背景技术

大数据完整的处理流程主要包括数据采集,数据加工以及数据的输出,这三个步骤顺序执行，相互依赖，一个步骤出错都会影响下一个步骤的执行，特别是业务比较复杂的场景。目前市面上的这三个阶段都没有做到完全配置化管理，从开发测试到项目的打包,编译和部署需要经历较长时间，过程比较繁琐，中间环节容易出错，会带来不少的学习成本和时间成本。目前这三个阶段主流做法如下：在数据采集阶段，数据来源比较多,有传统的关系型数据库，ftp数据源，web数据源以及hdfs数据源等，而且数据格式也不尽相同，目前大多数企业的做法是针对不同的数据源和数据格式开发不同的程序，导致系统越来越臃肿，维护难度也越来越大，虽然也有用配置化来实现数据抽取的，但支持的数据源有限，吞吐量不高，任务有延迟。在数据加工阶段，特别是实时数据加工的，目前大多数企业都是基于spark,storm或者flink实时计算引擎的，采用在这三种计算引擎都需要经过开发测试，编译,部署上线等流程,上线周期比较长，产品迭代周期也长，每个计算子模块无法公用，维护工作量也比较大，新接手的员工需要学习相关的计算引擎框架，学习成本比较高，无形中增加了企业的开发成本和上线周期。在数据输出阶段，也存在和数据采集阶段一样的问题，数据的输出格式和存储方式不尽相同，只能通过开发不同的程序模块去按需开发，开发工作量也比较大，存在重复开发的问题。以上种种问题就是目前大数据处理面临的主要问题，这些问题也导致目前大数据项目落地周期比较长，人力成本比较高，虽然市面上有部分产品在采集模块实现了配置化管理，在数据转换和输出阶段仍然需要按需开发，无法做到全流程的配置化和监控。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种实时和离线大数据处理系统、方法、存储介质及终端。

本发明解决上述技术问题的技术方案如下：一种实时和离线大数据处理系统，包括数据配置模块、数据采集模块、数据转换模块和数据输出模块；

所述数据配置模块，用于读取配置文件信息，并根据所述配置文件信息分别对所述数据采集模块、数据转换模块和数据输出模块进行配置；

所述数据采集模块，用于根据所述配置文件信息调用对应的插件从离线或者实时数据流中抽取数据源，并转换为表格式的数据信息；

所述数据转换模块，用于根据所述配置文件信息对所述数据信息进行转换；

所述数据输出模块，用于根据所述配置文件信息对转换后的所述数据信息输出至外部数据库或者文件系统。

本发明的有益效果是：本发明的实时和离线大数据处理系统，通过所述数据配置模块实现大数据处理的全流程配置化管理，无需开发就能处理多源多格式数据的采集,海量数据的转换，不同格式和不同数据存储格式的输出。减少企业学习成本和开发成本。加快企业部署大数据处理流程的过程。本系统基于模块化和插件化设计思想,配置灵活,扩展简单，维护方便,还可以根据自有需求灵活开发插件来满足特殊功能。

在上述技术方案的基础上，本发明还可以做如下改进：