[发明专利]一种ETL中海量数据抽取的方法

权利要求书

1.一种ETL中海量数据抽取的方法，其特征在于，其具体实现过程为：

步骤一：分析业务场景，定义数据拆分维度，即拆分的规则；

步骤二：根据定义的数据拆分规则，形成整个数据的抽取任务池；

步骤三：以抽取任务池为维度，定义对应的可以进行分布式部署的ETL流程组；

步骤四：按照任务池，并行启动分布式部署的ETL流程的执行；

步骤五：任务池中的ETL流程陆续停止，整个海量数据的ETL处理流程结束。

2.根据权利要求1所述的一种ETL中海量数据抽取的方法，其特征在于，所述步骤一的业务场景数据分析包括以下两种：

结构化数据，通过分析数据的表结构，以及需要进行的ETL操作，将识别出的某些表的部分属性作为结构化数据拆分的维度；

非结构化数据，按照数据的类别和数据产生的时间，形成非结构化数据拆分的维度。

3.根据权利要求1所述的一种ETL中海量数据抽取的方法，其特征在于，所述任务池包括以下两种：

量化的任务池：识别出的数据拆分维度的具体值，作为任务池的量化指标；

无法量化的任务池：系统根据结构化数据的表名已经非结构化数据的产生时间作为量化指标。