[发明专利]一种基于大数据的数据可视化加工处理系统

说明书

本发明涉及大数据分析领域，具体涉及一种基于大数据的数据可视化加工处理系统，包括：数据挖掘模块，用于基于预设的数据挖掘规则实现目标数据的挖掘，生成目标数据集；数据加工模型构建模块，用于基于录入的数据加工处理需求生成对应的数据加工模型，并为每一个数据加工模型配置对应的图表绘制脚本；数据可视化加工模块，基于Hadoop运行数据加工模型实现目标数据集的加工处理，同时运行对应的图标绘制脚本，实现数据处理加工过程及结果的可视化。本发明可以实现目标数据的分析过程和结果的可视，数据加工流程全程可追溯。

技术领域

本发明涉及大数据分析领域，具体涉及一种基于大数据的数据可视化加工处理系统。

背景技术

目前，现有的大数据加工系统，大多基于各种数据处理算法、数据加工模型实现，整个分析过程和结果不可视的同时，数据加工流程不可溯，且数据集的配置仍然需要依靠人工配置和录入，工作效率较为低下。

发明内容

为解决上述问题，本发明提供了一种基于大数据的数据可视化加工处理系统，可以实现目标数据的分析过程和结果的可视，数据加工流程全程可追溯。

为实现上述目的，本发明采取的技术方案为：

一种基于大数据的数据可视化加工处理系统，包括：

数据挖掘模块，用于基于预设的数据挖掘规则实现目标数据的挖掘，生成目标数据集；

数据加工模型构建模块，用于基于录入的数据加工处理需求生成对应的数据加工模型，并为每一个数据加工模型配置对应的图表绘制脚本；

数据可视化加工模块，基于Hadoop运行数据加工模型实现目标数据集的加工处理，同时运行对应的图标绘制脚本，实现数据处理加工过程及结果的可视化。

进一步地，所述数据挖掘模块首先基于预设的数据挖掘规则构建对应的数据挖掘模型，每一个数据挖掘模型配置一数据标记模块，用于为每一个目标数据配置上对应的独立标记。

进一步地，还包括：

数据集配置模块，用于通过识别目标数据配置的标记，为每一个数据加工模型配置对应的数据集，并实现数据集的主动录入。

进一步地，所述数据加工模型构建模块还用于建立各数据加工模型之间的运行关系，并基于所述运行关系实现对应的图标绘制脚本运行关系的构建。

进一步地，所述图表绘制脚本用于以图表绘制的形式实现数据处理加工过程及结果的可视化。

进一步地，还包括：

加工流程标记模块，用于为每一个数据处理结果标记上其对应的源数据及数据加工流程，以超链接标记点的形式实现。

进一步地，所述数据集配置模块内载数据量区间监测脚本，当所监测到的数据量达到预设的区间时，进行数据集的主动录入。

本发明具有以下有益效果：

1）基于Hadoop运行数据加工模型实现目标数据集的加工处理，同时运行对应的图标绘制脚本，可以实现目标数据的分析过程和结果的可视；

2）为每一个数据处理结果标记上其对应的源数据及数据加工流程，从而实现了数据加工流程全程可追溯。

3）为每一个数据加工模型配置对应的数据集配置模块，实现了数据集的自动配置和主动录入，从而大大提高数据加工处理效率。

附图说明

图1为本发明实施例一种基于大数据的数据可视化加工处理系统的系统框图。

图2为本发明实施例一种基于大数据的数据可视化加工处理系统的系统框图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。