[发明专利]一种轻量级ETL处理平台

权利要求书

1.一种轻量级ETL处理平台，其特征在于，所述轻量级ETL处理平台包括前端任务收发模块和后端数据处理模块，所述前端任务收发模块包括浏览器、H5操作单元和MySQL数据库管理系统，所述浏览器用于配置操作参数，所述H5操作单元对操作进行可视化展示，所述MySQL数据库管理系统中放置不同的支持Spark操作的函数库或操作指令，所述后端数据处理模块包括Spark集群，所述Spark集群内对数据进行分布式存储，根据MySQL数据库管理系统中放置的Spark操作的函数库或操作指令进行大数据计算，计算结果输出至MySQL数据库管理系统。

2.如权利要求1所述的一种轻量级ETL处理平台，其特征在于，所述浏览器内进行操作参数的配置，用户通过浏览器对操作过程进行添加，配置对应的参数。

3.如权利要求1所述的一种轻量级ETL处理平台，其特征在于，所述H5操作单元包括后台服务器和操作展示界面，通过鼠标进行托拉拽的操作，操作展示界面进行可视化显示，后台服务器对鼠标的每个不同的操作进行识别，解析用户的操作逻辑，生成相应的操作任务。

4.如权利要求1所述的一种轻量级ETL处理平台，其特征在于，所述MySQL数据库管理系统与H5操作单元进行数据交互，MySQL数据库管理系统中根据H5操作单元生成的操作任务进行任务参数拼装，组成Spark可操作的函数库或操作指令，Spark可操作的函数库或操作指令传送至Spark集群。

5.如权利要求4所述的一种轻量级ETL处理平台，其特征在于，所述MySQL数据库管理系统还包括数据接收单元，所述数据接收单元接收Spark集群计算的结果，用户从MySQL数据库管理系统能够调取计算结果，进行数据结果展示和数据报表的生成。

6.如权利要求1所述的一种轻量级ETL处理平台，其特征在于，所述后端数据处理模块包括Spark集群，所述Spark集群内包括任务集群管理器和HDFS分布式文件系统，所述HDFS分布式文件系统对数据进行分布式存储，提升读取速度，所述任务集群管理器将计算任务分发至多个Spark计算引擎，每个Spark计算引擎输出计算结果。

7.如权利要求6所述的一种轻量级ETL处理平台，其特征在于，所述Spark计算引擎从HDFS分布式文件系统提取数据任务，进行大数据计算，每个Spark计算引擎数据一致，计算过程不同。

8.如权利要求6所述的一种轻量级ETL处理平台，其特征在于，所述Spark计算引擎计算完成后，通过Spark集群将计算结果输出至MySQL数据库管理系统，MySQL数据库管理系统对数据进行整理和保存。

9.如权利要求1所述的一种轻量级ETL处理平台，其特征在于，所述MySQL数据库管理系统支持用户扩展现有函数库，实现个性化函数库添加。