[发明专利]基于数据并行处理的大数据处理系统

权利要求书

1.一种基于数据并行处理的大数据处理系统，其特征在于设有数据预处理模块、与数据预处理模块相连接的数据挖掘模块以及与数据挖掘模块相连接的显示输出模块，还设有与数据挖掘模块相连接的参数设置模块；所述数据预处理模块包括属性增/删模块、属性位置交换模块、添加ID属性模块、多表合并模块、属性规约模块、数据冗余处理模块、数据抽样模块、数据噪声处理模块。

2.根据权利要求1所述的一种基于数据并行处理的大数据处理系统，其特征在于所述数据挖掘模块包括聚类模块、分类模块、关联规则模块、社会关系网分析模块。

3.根据权利要求2所述的一种基于数据并行处理的大数据处理系统，其特征在于所述聚类模块中设有K-means算法模型。

4.根据权利要求1所述的一种基于数据并行处理的大数据处理系统，其特征在于所述数据预处理模块采用并行数据预处理模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。

5.根据权利要求1所述的一种基于数据并行处理的大数据处理系统，其特征在于所述数据挖掘模块为采用Map/Reduce机制的并行数据挖掘模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成并行数据挖掘。