[发明专利]一种ETL中海量数据抽取的方法

说明书

技术领域

本发明涉及数据处理技术领域，具体地说是一种实用性强、ETL中海量数据抽取的方法。

背景技术

伴随着科学技术的发展，各行各业信息化的程度越来越高，随之而来的各行各业的信息化数据也达到了前所未有的数据量，如何更好的利用目前沉淀下来的大数据，已经成为了当前的热点。在对大数据进行分析时，首先要做的就是对海量数据的采集，由于涉及的数据流非常大，在采集过程中一次性的将数据在内存进行处理，已经不可能，如何更好的利用目前的已经有的一些ETL系统和分布式计算资源对海量数据进行高效的抽取，成为未来发展的一个趋势，基于此，现提供一种ETL中海量数据抽取的方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、ETL中海量数据抽取的方法。

一种ETL中海量数据抽取的方法，其具体实现过程为：

步骤一：分析业务场景，定义数据拆分维度，即拆分的规则；

步骤二：根据定义的数据拆分规则，形成整个数据的抽取任务池；

步骤三：以抽取任务池为维度，定义对应的可以进行分布式部署的ETL流程组；

步骤四：按照任务池，并行启动分布式部署的ETL流程的执行；

步骤五：任务池中的ETL流程陆续停止，整个海量数据的ETL处理流程结束。

所述步骤一的业务场景数据分析包括以下两种：

结构化数据，通过分析数据的表结构，以及需要进行的ETL操作，将识别出的某些表的部分属性作为结构化数据拆分的维度；

非结构化数据，按照数据的类别和数据产生的时间，形成非结构化数据拆分的维度。

所述任务池包括以下两种：

量化的任务池：识别出的数据拆分维度的具体值，作为任务池的量化指标；

无法量化的任务池：系统根据结构化数据的表名已经非结构化数据的产生时间作为量化指标。

本发明的一种ETL中海量数据抽取的方法，具有以下优点：

本发明提出的一种ETL中海量数据抽取的方法，主要基于将海量数据进行智能分组，形成不同的抽取任务池，然后并行的执行分布式部署的ETL处理流程。从而在满足对海量数据进行数据集成的情况下，减少每个ETL流程处理的数据，在依托并行执行的算法和分布式计算资源，大幅度提高对海量数据整体进行数据集成的效率，实用性强，易于推广。

附图说明

图1是本发明的实现流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明公开了一种ETL系统中，针对海量数据进行数据抽取的实现方法，尤其适用于对海量数据做数据清洗，业务处理的数据集成场景，如附图1所示，其具体实现过程包括：

步骤一：分析业务场景，定义数据拆分维度，即拆分的规则。

该步骤针对不同的业务场景进行深入分析，总结出每种业务场景下的数据产生的规律性。

所述业务场景数据分析包括以下两种：

结构化数据，通过分析数据的表结构，以及需要进行的ETL操作，将识别出的某些表的部分属性作为结构化数据拆分的维度；

非结构化数据，按照数据的类别和数据产生的时间，形成非结构化数据拆分的维度。

步骤二：根据定义的数据拆分规则，形成整个数据的抽取任务池。

所述任务池包括以下两种：

量化的任务池：识别出的数据拆分维度的具体值，作为任务池的量化指标；

无法量化的任务池：系统根据结构化数据的表名已经非结构化数据的产生时间作为量化指标。

步骤三：以抽取任务池为维度，定义对应的可以进行分布式部署的ETL流程组。

该步骤三分析每个定义的任务池，根据每个任务池下量化的数据指标，定义不同的ETL解决方案。并根据每个任务池对应的数据的特点，有针对性的将不同的ETL解决方案部署在分布式环境中。

步骤四：按照任务池，并行启动分布式部署的ETL流程的执行。

该步骤四根据启动不同的任务池下不同的ETL流程的执行，保证相同的任务池下的不同量化指标对应的ETL流程可以并行执行，保证不同的任务池下定义的不同的ETL流程可以并行执行。

步骤五：任务池中的ETL流程陆续停止，整个海量数据的ETL处理流程结束。

各个任务池下定义的所有ETL流程全部正常执行后，全部的处理过程也就结束，当有一些任务池下的ETL流程执行失败后，可以修正后，再次单独执行失败的ETL流程，由于是海量数据，已经执行成功的流程不需要再次执行。