[发明专利]一种轻量级ETL处理平台

说明书

本发明实施例公开了一种轻量级ETL处理平台，所述轻量级ETL处理平台包括前端任务收发模块和后端数据处理模块，所述前端任务收发模块包括浏览器、H5操作单元和MySQL数据库管理系统，所述浏览器用于配置操作参数，所述H5操作单元对操作进行可视化展示，所述MySQL数据库管理系统中放置不同的支持Spark操作的函数库或操作指令，所述后端数据处理模块包括Spark集群，所述Spark集群内对数据进行分布式存储，根据MySQL数据库管理系统中放置的Spark操作的函数库或操作指令进行大数据计算，计算结果输出至MySQL数据库管理系统。本发明解决了现有大数据处理专业度要求高、处理速度慢的问题。

技术领域

本发明实施例涉及大数据处理技术领域，具体涉及一种轻量级ETL处理平台。

背景技术

云计算系统能够提供海量存储、可靠服务，因此日益受到重视。在云基础设施中，由成千上万台互相连接在一起的计算机构成提供服务的“云”，大量的用户可以同时共享这块“云”，并根据自己的实际需求对所需资源进行剪裁。作为云数据处理中的一个重要组成部分，当前的云存储系统绝大部分都采用分布式散列表的方式来构建索引，数据被组织成键值对的形式。大数据是指一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着大数据业务的发展，对数据进行ETL(Extract-Transform-Load，中文全称：数据仓库技术)处理非常的普遍。ETL处理的过程大致为从一个数据源中提取数据，将提取的数据转换为一个标准的格式，并加载到另外一个目标数据源的过程。目前，存在多种不同类型的数据源，例如：关系型Mysql、非关系型HBase、数据仓库有Hive、文件存储HDFS、计算引擎Spark、具有存储功能的文件索引服务Elasticsearch；而不同的数据类型的数据源可能会具有不同的接口类型。针对不同场景下，Spark程序启动速度缓慢，不适应实时数据处理，并且基于内存计算，对计算机的内存要求较高，需要多台服务器组成分布式计算集群，并且需要专业技术人员进行深度的JVM参数调优，对专业度要求较高。

发明内容

为此，本发明实施例提供一种轻量级ETL处理平台，以解决现有大数据处理专业度要求高、处理速度慢的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例公开了，一种轻量级ETL处理平台，所述轻量级ETL处理平台包括前端任务收发模块和后端数据处理模块，所述前端任务收发模块包括浏览器、H5操作单元和MySQL数据库管理系统，所述浏览器用于配置操作参数，所述H5操作单元对操作进行可视化展示，所述MySQL数据库管理系统中放置不同的支持Spark操作的函数库或操作指令，所述后端数据处理模块包括Spark集群，所述Spark集群内对数据进行分布式存储，根据MySQL数据库管理系统中放置的Spark操作的函数库或操作指令进行大数据计算，计算结果输出至MySQL数据库管理系统。

进一步地，所述浏览器内进行操作参数的配置，用户通过浏览器对操作过程进行添加，配置对应的参数。

进一步地，所述H5操作单元包括后台服务器和操作展示界面，通过鼠标进行托拉拽的操作，操作展示界面进行可视化显示，后台服务器对鼠标的每个不同的操作进行识别，解析用户的操作逻辑，生成相应的操作任务。

进一步地，所述MySQL数据库管理系统与H5操作单元进行数据交互，MySQL数据库管理系统中根据H5操作单元生成的操作任务进行任务参数拼装，组成Spark可操作的函数库或操作指令，Spark可操作的函数库或操作指令传送至Spark集群。