[发明专利]一种基于hadoop和spark的可视化数据挖掘分析平台及其数据清洗方法

说明书

本发明涉及一种基于hadoop和spark的可视化数据挖掘分析平台，该平台包括数据管理模块、工作流管理模块、算子管理模块及算子运行调度管理模块；同时本发明还公开了基于hadoop和spark的可视化数据挖掘分析平台的数据清洗方法。本发明的可视化数据挖掘分析平台操作简单，要求低，方便用户灵活操作，并具有工作流保存和共享功能，使得操作更加灵活。

技术领域

本发明涉及可视化数据挖掘分析平台，属于信号处理技术领域，更具体地说，本发明涉及一种基于hadoop和spark的可视化数据挖掘分析平台，同时，本发明还公开了基于该平台的数据清洗方法。

背景技术

分布式计算框架spark适用于海量数据场景下的数据分析挖掘，spark的数据结构dataframe类似于python和R语言的dataframe，是一种结构化的数据处理结构，具有行索引和列索引。基于这些特性，可以方便、精确地对数据进行处理，dataframe本身自带了很多用于数据清洗加工的API，很多复杂的功能通过简单的调用即可实现。

但是，spark dataframe的操作需要编写脚本，要求使用者具有一定的编程能力，并且要熟悉spark dataframe的相关API,对普通用户非常不友好。现存的另外一种技术，就是将spark dataframe进行封装，将其中的API以可视化的方式呈现出来，用户只需要操作图形化的算子，进行简单的拖拽操作，并设置好每个算子的参数后即可构建数据清洗的流程，完成数据清洗操作，大大降低用户对大数据进行挖掘分析的难度，但是这样的可视化操作，虽然降低了操作的门槛，但是一些比较特殊的需求满足不了，操作缺乏灵活性。

发明内容

基于以上技术问题，本发明提供了一种基于hadoop和spark的可视化数据挖掘分析平台，从而解决了以往spark dataframe操作对用户要求高，操作缺乏灵活性的技术问题；同时，本发明还公开了基于hadoop和spark的可视化数据挖掘分析平台的数据清洗方法。

为解决以上技术问题，本发明采用的技术方案如下：

一种基于hadoop和spark的可视化数据挖掘分析平台，其特征在于，该平台包括数据管理模块、工作流管理模块、算子管理模块及算子运行调度管理模块；

其中，

数据管理模块，对整个系统中的数据文件进行管理，通过http协议将数据从本地上传到系统的hdfs中，供平台中的算子使用；

工作流管理模块，对平台中的工作流进行管理、增删改查，工作流是各个算子按执行顺序连接起来构成的数据挖掘分析流程；

算子管理模块，对平台中封装的各类spark算子进行管理，平台对这些算子进行图形化封装，通过拖动算子对应的图形并通过连线连接各个算子，构建数据挖掘分析工作流；

算子运行调度管理模块，对平台中的算子构建的工作流运行进行管理；

基于以上技术方案，工作流管理模块提供工作流的导入和导出，导入和导出通过xml文件作为中间媒介，用于对平台中的工作流进行管理、增删改查。

基于以上技术方案，算子管理模块中各类spark算子种类包括数据抽取、数据加载、数据转换、数据建模以及建模评估。

基于以上技术方案，算子运行调度管理模块中，管理内容包括工作流启动和停止、工作流中各个算子顺序执行的调度。

本发明的可视化数据挖掘分析平台操作简单，要求低，方便用户灵活操作，并具有工作流保存和共享功能，使得操作更加灵活。

同时，本发明还公开了基于hadoop和spark的可视化数据挖掘分析平台的数据清洗方法,该方法包括以下步骤：

S0基于hadoop和spark框架，在平台中对spark中与数据处理相关的算子进行图形化封装；