[发明专利]一种数据处理方法及其系统

说明书

技术领域

本发明涉及通信领域中的数据挖掘技术，尤其涉及一种数据处理方法及其系统。

背景技术

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道但又是潜在有用的信息和知识的过程。

数据挖掘流程通常包括：数据预处理(ETL)、数据挖掘算法实现、结果展示三个主要步骤。通过ETL步骤，可对源数据进行预处理以得到待挖掘数据；通过数据挖掘算法实现步骤，可实现满足业务需要的数据挖掘算法得出分析结果；通过结果展示步骤，可将数据挖掘算法的处理结果展示给用户。

ETL(如抽取、转换、装载等处理)负责将分布的、异构数据源中的数据，如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

现有技术中的用ETL对数据进行处理的方法是基于数据库技术对数据进行处理的，无法适用于海量数据挖掘的并行ETL操作。并且，现有ETL系统是将待处理数据全部导入内存中再进行处理，由于内存容量的限制，使得现有ETL无法满足处理海量数据的需求。

由于ETL占数据挖掘流程中60％的工作量，可见，解决ETL处理海量数据的问题来提高ETL操作的效率是海量数据挖掘的关键。

发明内容

本发明实施例提供一种数据处理方法及数据处理系统，以解决现有技术中数据挖掘流程中的预处理操作效率底的问题。

本发明实施例提供的数据处理方法，包括：

并行执行多个Map任务，其中，每个Map任务获取待处理数据中相应部分的数据，并对获取到的数据进行数据处理，得到所述待处理数据的局部处理结果；

执行Reduce任务，所述Reduce任务根据所有局部处理结果得到所述待处理数据的全局处理结果。

本发明实施例提供的数据处理系统，包括：

调用模块，用于调用多个并行的Map任务，以及在所述多个并行的Map任务执行完成后调用Reduce任务；

与所述调用模块调用的Map任务一一对应的Map任务执行模块，用于执行Map任务，包括：获取待处理数据中相应部分的数据，并对获取到的数据进行数据处理，得到所述待处理数据的局部处理结果；所述Map任务执行模块并行执行；

Reduce任务执行模块，用于执行Reduce任务，包括：根据所有局部处理结果得到所述待处理数据的全局处理结果。

本发明的上述实施例中，通过用多个Map任务对待处理数据的各部分进行处理，可实现数据处理过程的并行与分布式部署。由于Map任务可分布到多个执行节点(如PC机)上执行，因此可将该处理方式应用于集群环境。Map任务获取到数据后就进行数据处理，与现有技术中需要将数据全部读入内存相比，可避免内存容量的限制。可见，采用本发明实施例可提高数据处理的效率，特别是针对需要处理海量数据的数据挖掘流程中的数据预处理操作，可提高数据预处理的效率。

附图说明

图1为本发明实施例的数据挖掘预处理的流程示意图；

图2为本发明实施例通过Map任务和Reduce任务进行数据处理的示意图；

图3为本发明实施例的数据挖掘系统结构示意图。

具体实施方式

本发明实施例采用Map/Reduce(映射/简化)机制进行数据处理，如数据挖掘流程中的数据预处理操作。Map/Reduce是一种分布式处理海量数据的实现方式，该机制可让程序分步到一个由普通节点组成的超大集群上并发执行。

下面结合附图对本发明实施例进行详细描述。

参见图1，为本发明实施例中的数据挖掘预处理流程示意图，当启动数据预处理流程后，该流程包括：

步骤101、生成多个Map任务，每个Map任务负责处理待处理数据中的部分数据。