[发明专利]基于数据并行处理的大数据处理系统

说明书

技术领域：

本发明涉及网络通信技术领域，具体地说是一种能够有效提高数据处理速度、降低系统复杂度的基于数据并行处理的大数据处理系统。

背景技术：

大数据技术或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理的时间内达到汲取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。大数据计数的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化的处理，换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过加工数据实现增值。

如何从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但有时潜在有用的信息的过程被称为数据挖掘，显而易见，数据挖掘时大数据技术的关键。

现有的大数据系统处理数据时仍采用单机节点上的串行方式实现，其数据处理量以及算法的负载度依赖于单个执行节点的性能，而由于大数据处理系统往往要对海量数据进行处理，现有的单机节点串行机制显然存在效率低、运算量低的问题。

发明内容：

本发明针对现有技术中存在的缺点和不足，提出了一种能够有效提高数据处理速度、降低系统复杂度的基于数据并行处理的大数据处理系统。

本发明可以通过以下措施达到：

一种基于数据并行处理的大数据处理系统，其特征在于设有数据预处理模块、与数据预处理模块相连接的数据挖掘模块以及与数据挖掘模块相连接的显示输出模块，还设有与数据挖掘模块相连接的参数设置模块；所述数据预处理模块包括属性增/删模块、属性位置交换模块、添加ID属性模块、多表合并模块、属性规约模块、数据冗余处理模块、数据抽样模块、数据噪声处理模块。

本发明所述数据挖掘模块包括聚类模块、分类模块、关联规则模块、社会关系网分析模块。

本发明所述聚类模块中设有K-means算法模型。

本发明所述数据预处理模块采用并行数据预处理模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。

本发明所述数据挖掘模块为采用Map/Reduce机制的并行数据挖掘模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成并行数据挖掘。

本发明与现有技术相比，克服了单机节点串行处理方式的不足，提高了数据处理量和处理速度，具有结构合理、运行稳定、效率高等显著的优点。

附图说明：

附图1是本发明的结构框图。

附图标记：数据预处理模块1、数据挖掘模块2、显示输出模块3、参数设置模块4、属性增/删模块5、属性位置交换模块6、添加ID属性模块7、多表合并模块8、属性规约模块9、数据冗余处理模块10、数据抽样模块11、数据噪声处理模块12、聚类模块13、分类模块14、关联规则模块15、社会关系网分析模块16。

具体实施方式：

下面结合附图对本发明作进一步的说明。

如附图1所示，本发明提出了一种基于数据并行处理的大数据处理系统，其特征在于设有数据预处理模块1、与数据预处理模块1相连接的数据挖掘模块2以及与数据挖掘模块2相连接的显示输出模块3，还设有与数据挖掘模块2相连接的参数设置模块4；所述数据预处理模块1包括属性增/删模块5、属性位置交换模块6、添加ID属性模块7、多表合并模块8、属性规约模块9、数据冗余处理模块10、数据抽样模块11、数据噪声处理模块12。

本发明所述数据挖掘模块2包括聚类模块13、分类模块14、关联规则模块15、社会关系网分析模块16。

本发明所述聚类模块中设有K-means算法模型。

本发明所述数据预处理模块1采用并行数据预处理模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。